RNN是想把所有信息都记住,不管是有用的信息还是没用的信息 LSTM :设计一个记忆细胞,具备选择性记忆的功能,可以选择记忆重要信息,过滤掉噪声信息,减轻记忆负担

结构

原理

记忆细胞

在LSTM的每个时间步里面,都有一个记忆cell ,这个东西给与了LSTM选择记忆功能,使得LSTM有能力自由选择每个时间步里面记忆的内容

记忆是只沿着着时间线上的学习内容，状态是结合记忆后和当前学习内容的新的输出

ht是当前状态的结果, ct是当前状态历史记忆的缓存

遗忘门

这个门决定着我们还需不需要记住前面状态的信息,即当前时刻的记忆状态有多少是来自于前面的记忆 输出一个0和1之间的数，1代表我们保留之前记住的信息，0代表我们不用记住前面的信息。