EN
注意力聚光灯
点一个词，看看模型在「盯」哪里——这就是每个 Transformer 心脏里的那一招。
挑一个句子
每个句子里都有一个「捣蛋词」，它在指向前面的某个东西。你的任务：找出它到底在看谁。
点任意一个词，打开聚光灯
大
小
点一下上面高亮的词。👆
这个词在看哪里
那束光，就是
注意力（attention）
。
模型读到一个词时，会悄悄地问一句「这个词在指前面哪些词？」，然后把更亮的光打在最关键的那几个上。它就是靠这个，才搞清楚像
「it（它）」
这种词到底指谁。 再看看这个魔术：
只换掉一个词——把 “big（大）” 换成 “small（小）”——整束聚光灯就跳到另一个词上去了。
句子结构一模一样，意思却彻底变了。这一招反复堆叠起来，就是每个聊天机器人背后 Transformer 跳动的心脏。