Thidtc's Blog

Keep learning, keep coding.

Accelerating softmax

1. Overview Softmax is a common layer in neural network, but when the nubmer of output class increases, the performance of softmax layer get decreased. For example, in Language Model(LM) task, the...

Posted by thidtc on July 19, 2018

Neural Machine Translation

1. Overview As the development of deep learning, neural machine translation gradually replaces stochastic machine translation. Usually NMT model contain massive parameters, thus requires a big para...

Posted by thidtc on July 11, 2018

Some methods for text summarization

1. Overview Methods for text summarization can be categoried into two main paradigms: Extraction and Abstraction. In Extraction paradigm, salient sentences or phrases are directly extracted from th...

Posted by thidtc on June 13, 2018

Variational Reasoning for Question Answering with Knowledge Graph

1. 来源 AAAI 2018 2. 作者信息 3. 概要基于KG的QA中通常会有多个阶段，例如关键实体识别，路径搜索。本文提出了一种端到端的变分学习算法来处理QA中的关键实体识别中可能产生的噪音和多跳的关系。本文提出的方法能够在测试数据集上达到很好的效果，此外，本文还提出了一个新的测试数据集，其中包含多条关系的问题，在这个数据集上，本文提出的模型也能得到很好的效果。 4. 模型 ...

Posted by thidtc on April 9, 2018

Sequence-to-Sequence Learning as Beam-Search Optimization

1. 来源 EMNLP 2016 2. 代码 https://github.com/harvardnlp/BSO 3. 作者信息 4. 概要本文提出了一种seq2seq模型的训练方法，这种方法通过计算全局的序列分数来避免传统的基于MLE的方法中出现的问题，如label bias和exposure bias。在实验中，本文提出的方法在多个seq2seq任务中都能比其他的baselin...

Posted by thidtc on April 9, 2018

Reinforcement learning introduction

CS294 DRL-2017-fall(2)

1. 马可夫链（Markov chain）马可夫链（一阶）的定义为对应的概率图模型如下马可夫链的状态仅依赖于前一个状态 2. 马可夫决策过程（Markov decision process） MDP的定义为对应的概率图模型为从MDP的定义可以得到以下的等式（Bellman equation） 3. 部分观测马可夫决策过程（Partially ob...

Posted by thidtc on March 9, 2018

Bi-Directional Attention Flow For Machine Comprehension

1. 来源 ICLR 2017 2. 作者信息 3. 概要通常的机器阅读模型使用uni-directional attention机制来对聚焦部分的文章（这里文章即对应原文中的context）文本。本文提出了Bi-Directional Attention Flow(BiDAF)模型，模型在不同粒度上对文章进行表示，并且使用了Bi-directional attention f...

Posted by thidtc on March 9, 2018

Value Iteration Networks

1. 来源 NIPS 2017 2. 作者信息 3. 概要本文提出了value iteration network(VIN)这个模型是一个完全可微的模型，其中包含了一个planning模块。VIN能够learn to plan，并且适用于通过使用planning预测结果的强化学习任务。VIN的关键点在于使用卷积神经网络对value-iteration算法的一个近似，因此能够使用梯度下...

Posted by thidtc on March 5, 2018

Generative Adversarial Nets

1. 来源 NIPS 2014 2. 作者信息 3. 概要本文提出了一个通过对抗过程对生成模型进行评估的框架，其中，同时训练了两个模型：生成模型和判别模型。这个框架对应着minimax双人博弈过程。当对生成模型和判定模型的函数进行优化时，存在唯一解，此时，生成模型能够产生和实际数据分布相同的数据分布，而判别模型的判定结果为1/2（无法判定数据为实际数据或是模型生成数据）。在实验中，该...

Posted by thidtc on January 26, 2018

You Only Look Once: Unified, Real-Time Object Detection

1. 来源 CVPR 2016 2. 作者信息 Joseph Redmon⇤, Santosh Divvala⇤†, Ross Girshick¶, Ali Farhadi⇤† University of Washington⇤, Allen Institute for AI†, Facebook AI Research¶ http://pjreddie.com/yolo/ 3. 概要 ...

Posted by thidtc on January 5, 2018