深度学习进阶：自然语言处理

深度学习进阶：自然语言处理

作者：未知作者 笔记数：7 条

8.1 Attention的结构

在机器翻译的历史中，很多研究都利用“猫=cat”这样的单词对应关系的知识。这样的表示单词（或者词组）对应关系的信息称为对齐（alignment

alignment：从手工到自动化

到目前为止，对齐主要是手工完成的，而我们将要介绍的Attention技术则成功地将对齐思想自动引入到了seq2seq中。这也是从“手工操作”到“机械自动化”的演变。

就是从hs中选出与各个时刻解码器输出的单词有对应关系的单词向量

8.5 Attention的应用

NTM （Neural Turing Machine，神经图灵机

基于外部存储装置的扩展技术和Attention会越来越重要

8.6 小结

Attention从数据中学习两个时序数据之间的对应关系