#reading

一句「我们怀疑」：注意力为什么要除以 √dₖ

在 Transformer 论文的一句话旁边，摆三张实验纸。先估点积会长多快，再看 softmax 怎样变得固执，最后回到那句「We suspect」。