（Unfinished）尚未完成

一、说明

• 关于LSTM的cell结构和一些计算在之前已经介绍了，可以点击这里查看
• 本篇博客主要涉及一下内容：
  • LSTM前向计算说明(之前的博客中LSTM部分实际已经提到过，这里结合图更详细说明)

二、LSTM前向计算step by step

1、结构review

• 我们知道RNN的结构如下图
  • 注意cell中的神经元可以有多个
    
• LSTM就是对cell结构的改进
  
• 符号说明
  
• LSTM的关键就是state,就是对应上面的主线数据的传递
  

2、前向计算step by step

(1) 决定抛弃的信息

• 遗忘门 (forget gate layer)
• $\sigma$是Sigmoid激励函数，因为它的值域是(0,1)，0代表遗忘所有信息，1代表保留所有信息

(2) 决定存储的新信息

• 包括两个部分
  • 第一个是输入门 (input gate layer)，对应的是Sigmoid函数
  • 第二个是经过tanh激励函数

(3) 更新state$C_{t-1}$成$C_t$

• $f_t$是经过Sigmoid函数的，所以值域在(0,1)之间，$C_{t-1}$点乘0-1之间的数实际就是对$C_{t-1}$的一种缩放，（可以认为是记住之前信息的程度）
• 然后加入进来的新的信息
  

(4) 最后计算输出

• 输出门(output gate layer)

• 最后再放一下之前的图, 数据流向可能更清晰

三、GRU (Gated Recurrent Unit)

1、结构和前向计算

• 如下图所示
  • 相比LSTM，GRU结合了遗忘门和输入门
  • 同样也合并了cell state和hidden state （就是LSTM中的c和h）
  • GRU比LSTM更加简单

Reference

• https://colah.github.io/posts/2015-08-Understanding-LSTMs/
• https://r2rt.com/written-memories-understanding-deriving-and-extending-the-lstm.html#dealing-with-vanishing-and-exploding-gradients
• http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
• http://lawlite.me/2016/12/20/%E8%AE%BA%E6%96%87%E8%AE%B0%E5%BD%95-UnderstandingTheDifficultyOfTrainingDeepFeedforwardNeuralNetworks/

赏

谢谢你请我吃糖果

支付宝

微信