論文の概要: A Mechanistic Account of Attention Sinks in GPT-2: One Circuit, Broader Implications for Mitigation
- arxiv url: http://arxiv.org/abs/2604.14722v1
- Date: Thu, 16 Apr 2026 07:32:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:31.782149
- Title: A Mechanistic Account of Attention Sinks in GPT-2: One Circuit, Broader Implications for Mitigation
- Title（参考訳）: GPT-2における注意シンクの力学的考察:1つの回路, 緩和に対するより広い意味
- Abstract要約: トランスフォーマーは一般的に注意シンクを呈し、第1位に不当に高い注意を払っている。
学習されたクエリバイアスと絶対的な位置埋め込みを持つGPT-2スタイルのモデルにおいて,この挙動について検討する。
- 参考スコア（独自算出の注目度）: 1.2744523252873352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers commonly exhibit an attention sink: disproportionately high attention to the first position. We study this behavior in GPT-2-style models with learned query biases and absolute positional embeddings. Combining structural analysis with causal interventions, validated across natural-language, mathematical, and code inputs, we find that the sink arises from the interaction among (i) a learned query bias, (ii) the first-layer MLP transformation of the positional encoding, and (iii) structure in the key projection. Crucially, each component we identify is individually dispensable: architectures omitting each of them robustly exhibit sinks. This indicates that attention sinks may arise through distinct circuits across architectures. These findings inform mitigation of sinks, and motivate broader investigation into why sinks emerge.
- Abstract（参考訳）: トランスフォーマーは一般的に注意シンクを示しており、第1位に不当に高い注意を払っている。
学習されたクエリバイアスと絶対的な位置埋め込みを持つGPT-2スタイルのモデルにおいて,この挙動について検討する。
構造解析と因果介入を組み合わせ、自然言語、数学的、コード入力で検証した結果、シンクは相互の相互作用から生じることがわかった。
i) 学習されたクエリバイアス。
(ii)位置符号化の第1層MLP変換及び
(iii)キープロジェクションの構造
重要なのは、各コンポーネントは個別に発行可能で、それぞれのコンポーネントを省略するアーキテクチャは、しっかりとシンクを表示することです。
これは、アーキテクチャを横断する異なる回路を通して注意シンクが発生する可能性があることを示している。
これらの知見は、沈み込みの緩和を示唆し、なぜ沈み込みが発生するのかを広範囲に調査する動機となっている。
関連論文リスト
- The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
この研究は、この現象のテクトメカニスティックな説明を提供する。
我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。
概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
論文 参考訳（メタデータ） (2026-05-07T17:28:55Z) - The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks [32.60957674853853]
トランスフォーマー言語モデルにおける2つの繰り返し現象について検討する。
少数のトークンがいくつかのチャネルで極端な外れ値を示し、注意が沈み込み、特定のトークンが意味的関連性に関係なく不均等な注意質量を引き付けるような大規模なアクティベーション。
論文 参考訳（メタデータ） (2026-03-05T18:59:04Z) - How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。
スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
論文 参考訳（メタデータ） (2026-02-04T11:10:34Z) - What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains [64.31313691823088]
インコンテキスト学習(ICL)は、入力コンテキストからの情報を活用することで、訓練されたモデルが新しいタスクに適応することを学習するトランスフォーマーの能力である。
1層に1つの頭を持つ2層トランスは、実際に任意の条件k-gramを表現可能であることを示す。
論文 参考訳（メタデータ） (2025-08-10T07:03:01Z) - What are you sinking? A geometric approach on attention sink [6.552700667389349]
注意シンク(AS: Attention sink)は、あるトークンが他のトークンから注意を引き付けるような、トランスフォーマーの注意マップにおける一貫したパターンである。
変換器では、ASはアーキテクチャアーティファクトではなく、基本的な幾何学的原理の顕現であることを示す。
論文 参考訳（メタデータ） (2025-08-04T15:59:15Z) - On the Emergence of Position Bias in Transformers [59.87743433861665]
本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。
我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
論文 参考訳（メタデータ） (2025-02-04T02:53:07Z) - Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
本稿では,変圧器の1次論理的推論能力をパラメータ化知識を用いて一般化する。
本稿では,一階述語論理エンターメントの性能を大幅に向上させる論理認識アーキテクチャTEGAを提案する。
論文 参考訳（メタデータ） (2025-01-01T07:05:32Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳（メタデータ） (2021-02-27T21:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。