Zhe Yang

LSTM 各个门的理解

LSTM的第一步是决定我们要从细胞状态(cell state)中丢弃哪些信息

下一步就是决定哪些新的信息需要存储在细胞状态中。

最后,我们需要决定需要输出什么。

 

理解长短期记忆网络(LSTM NetWorks)

t时刻cell的Input:
1.由当前输入Xt
2.前一时刻cell的输出ht-1
3.前一时刻cell的状态ct-1(可以理解为计算ht-1过程中的中间值)

t时刻cell的3个控制门Gate,值域[0,1](改进的GRU的cell将输入门和遗忘门合并为Update门):
1.输入门it
2.遗忘门ft
3.输出门ot

计算过程如下:

step 1.1  输入门it
step 1.2 输入门it所控制的新记忆Ct波浪线:)(如下图)
W是其对应的权重矩阵,b为偏置。黄色的框内是不同的激活函数((Activation Function)

激励函数的作用

人工神经网络中的activation function的作用以及ReLu,tanh,sigmoid激励函数的区别
20170503175158456
step 1.3 遗忘门ft (控制对于之前输入记忆ct-1的遗忘程度)(如下图)
其中,step1.1、1.2和1.3是可以并行计算的,输入都是当前输入Xt 和 前一时刻cell的输出ht-1
20170503182222889

step 2 当前t时刻cell的状态Ct(由step 1计算的三个结果得到)
20170503183743722
step 3 输出门Ot及其控制的t时刻cell的输出ht
20170503184147837
step 4 信号xt通过ht的输出:
20170503184445774

码字很辛苦,转载请注明来自Zhe Yang – Shandong University《LSTM 各个门的理解》

评论