論文の概要: A Mechanistic Account of Attention Sinks in GPT-2: One Circuit, Broader Implications for Mitigation

• arxiv url: http://arxiv.org/abs/2604.14722v1
• Date: Thu, 16 Apr 2026 07:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.782149
• Title: A Mechanistic Account of Attention Sinks in GPT-2: One Circuit, Broader Implications for Mitigation
• Title（参考訳）: GPT-2における注意シンクの力学的考察:1つの回路, 緩和に対するより広い意味
• Authors: Yuval Ran-Milo, Hila Ofek, Shahar Mendel,
• Abstract要約: トランスフォーマーは一般的に注意シンクを呈し、第1位に不当に高い注意を払っている。 学習されたクエリバイアスと絶対的な位置埋め込みを持つGPT-2スタイルのモデルにおいて,この挙動について検討する。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers commonly exhibit an attention sink: disproportionately high attention to the first position. We study this behavior in GPT-2-style models with learned query biases and absolute positional embeddings. Combining structural analysis with causal interventions, validated across natural-language, mathematical, and code inputs, we find that the sink arises from the interaction among (i) a learned query bias, (ii) the first-layer MLP transformation of the positional encoding, and (iii) structure in the key projection. Crucially, each component we identify is individually dispensable: architectures omitting each of them robustly exhibit sinks. This indicates that attention sinks may arise through distinct circuits across architectures. These findings inform mitigation of sinks, and motivate broader investigation into why sinks emerge.
• Abstract（参考訳）: トランスフォーマーは一般的に注意シンクを示しており、第1位に不当に高い注意を払っている。 学習されたクエリバイアスと絶対的な位置埋め込みを持つGPT-2スタイルのモデルにおいて,この挙動について検討する。 構造解析と因果介入を組み合わせ、自然言語、数学的、コード入力で検証した結果、シンクは相互の相互作用から生じることがわかった。 i) 学習されたクエリバイアス。 (ii)位置符号化の第1層MLP変換及び (iii)キープロジェクションの構造 重要なのは、各コンポーネントは個別に発行可能で、それぞれのコンポーネントを省略するアーキテクチャは、しっかりとシンクを表示することです。 これは、アーキテクチャを横断する異なる回路を通して注意シンクが発生する可能性があることを示している。 これらの知見は、沈み込みの緩和を示唆し、なぜ沈み込みが発生するのかを広範囲に調査する動機となっている。

関連論文リスト

• How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
  モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
  論文  参考訳（メタデータ） (2026-02-04T11:10:34Z)
• What are you sinking? A geometric approach on attention sink [6.552700667389349]
  注意シンク(AS: Attention sink)は、あるトークンが他のトークンから注意を引き付けるような、トランスフォーマーの注意マップにおける一貫したパターンである。 変換器では、ASはアーキテクチャアーティファクトではなく、基本的な幾何学的原理の顕現であることを示す。
  論文  参考訳（メタデータ） (2025-08-04T15:59:15Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。