Transformer

問いかけ、照合し、混ぜ合わせる:Transformerのアテンションを支えるシンプルな考え方

Query、Key、Valueからアテンションを組み立てていきます。類似度スコアがどのように重みになって値を混ぜ合わせるのか、なぜスコアを√d_kでスケーリングするのか、そしてセルフアテンション、クロ...