🎓 Academic
一句「我们怀疑」：注意力为什么要除以 √dₖ
在 Transformer 论文的一句话旁边，摆三张实验纸。先估点积会长多快，再看 softmax 怎样变得固执，最后回到那句「We suspect」。
#transformer
2 条内容
🎓 Academic
注意力的手算底稿：三个位置怎样变成一个输出
给一次注意力留下完整账本：打分、指数、权重和值。用同一份输入检查遮罩，再把这页底稿放回原始 Transformer。
2 条内容
在 Transformer 论文的一句话旁边，摆三张实验纸。先估点积会长多快，再看 softmax 怎样变得固执，最后回到那句「We suspect」。
给一次注意力留下完整账本：打分、指数、权重和值。用同一份输入检查遮罩，再把这页底稿放回原始 Transformer。