Demo 07
Attention 与 Transformer：token 为什么可以直接互相关注？
为什么 Attention 比 RNN 更适合建模长距离依赖？这个章节把历史位置放在 RNN 之后、Transformer 之前，帮助用户看到“直接连接”为什么改变 NLP。
教学型交互案例
注意力热图探索
为什么 Attention 比 RNN 更适合建模长距离依赖？
Attention 观察
“模型”直接关注“外部知识”
在 Attention 中，“模型”可以跨过中间词，直接连接到真正补足语义的“外部知识”。
Attention 让每个 token 可以直接查看相关 token，远距离关系不必一格一格传递。
学习目标
- 理解 Attention 让 token 之间建立直接连接，而不是只能顺序传递。
- 观察远距离 token 关系为什么在 RNN 模式下更容易变弱。
- 把 Attention 与 Transformer、基础模型的历史位置联系起来。
简化说明
本案例中的 attention 权重为教学预设，不来自真实 Transformer 模型；它只用来说明直接连接带来的机制直觉。
观察指南
从链式传递到直接连接
它之前的问题是：RNN 需要按顺序传递状态，远距离 token 的关系容易变弱。Attention 解决的是信息路径过长的问题，但没有直接解决训练成本、幻觉或事实更新问题。后续影响是 Transformer、基础模型和现代多模态模型。
参考资料
Concept Check
用一个问题检验核心直觉
自测只帮助你检查理解，不影响继续学习。记录仅保存在本设备。