注意力机制在神经自然语言处理中得到了广泛的采用。除了能够提升预测的性能，它们通常被吹捧能够提高模型的透明度：即具有注意力的模型提供了在输入单元上的注意力分布，并且这通常被呈现为（至少是隐含地说明）表达了输入的相对重要性。但是，注意力权重和模型输出之间到底存在什么样的关系并不明确。

我们在各种自然语言处理任务上开展了广泛的实验，这些任务旨在评估注意力权重能够对预测提供何种程度上的有意义的「解释」。我们发现注意力权重基本上是做不到的。例如，学习到的注意力权重通常与基于梯度的特征重要性度量是没有关联的，而且我们可以发现非常不同的注意力分布，它们可以带来同样的预测。我们的研究结果表明，标准的注意力模块并没有提供有意义的解释。

分散性注意力——同时做两件事，也叫多任务处理。

其实人并不能真正做到多任务处理，大部分这样的强的人是能够瞬间从一种工作状态中切换到另外一种工作状态，反正这种事情我很擅长，专注力训练，我能从一个工作中瞬间切到另一个工作状态，似乎刚刚就没有分过心一样。

比如我可以一边群聊，一边打开微信公号后台，马上开写，几乎看不出我刚刚在群聊一个无关的话题，专注力训练结构，甚至两边都聊得挺有质量的。

当然书的作者说真正做到的

话，必须包括一项自动任务，我原来写过文章称之为被肌肉记忆的动作，一项体力劳动，一项脑力劳动，比如一边唱歌一边炒菜，没问题。

但一边唱歌一边写代码估计很难，哼无意识的小调还可以。