論文の概要: The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity

• arxiv url: http://arxiv.org/abs/2605.06611v1
• Date: Thu, 07 May 2026 17:28:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.0434
• Title: The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity
• Title（参考訳）: 注意シンクの構造的起源--差分、超ニューロン、次元差
• Authors: Siquan Li, Kaiqi Jiang, Jiacheng Sun, Tianyang Hu,
• Abstract要約: この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
• 参考スコア（独自算出の注目度）: 22.040532283910522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the prevalence of the attention sink phenomenon in Large Language Models (LLMs), where initial tokens disproportionately monopolize attention scores, its structural origins remain elusive. This work provides a \textit{mechanistic explanation} for this phenomenon. First, we trace its root to the value aggregation process inherent in self-attention, which induces a systematic variance discrepancy. We further demonstrate that this discrepancy is drastically amplified by the activation of super neurons within Feed-Forward Network (FFN) layers. Specifically, the channel-sparse down-projections trigger a dimension disparity of the first-token representation, necessitating the formation of attention sinks as a structural anchor. Then, we validate this causal chain through two controlled interventions: (i) isolating the aggregation effect via attention mask modifications and (ii) amplifying the variance of targeted token representations. Both interventions can replicate attention sinks at arbitrary positions. Our mechanistic understanding offers a foundation for the systematic control of sink formation. Finally, as a proof of concept, we propose \textit{head-wise RMSNorm}, an architectural modification that stabilizes value aggregation outputs during pre-training. Our experiments demonstrate that restoring statistical parity across positions significantly accelerates convergence.
• Abstract（参考訳）: 大規模言語モデル(LLMs)における注目シンク現象は、初期トークンが不均等に注目スコアを独占しているにもかかわらず、その構造的起源は明らかになっていない。 この研究は、この現象の「textit{mechanistic explanation}」を提供する。 まず、その根源を自己注意に固有の価値集約プロセスに辿り着き、体系的な分散の相違を誘発する。 さらに、フィードフォワードネットワーク(FFN)層内のスーパーニューロンの活性化により、この相違が大幅に増幅されることを実証した。 具体的には、チャネルスパースダウンプロジェクションは第1トーケン表現の次元格差を引き起こし、構造的アンカーとして注目シンクの形成を必要とする。 そして、この因果連鎖を2つの制御された介入によって検証する。 一 注意マスクの修正により集合効果を分離すること。 (ii)ターゲットトークン表現のばらつきを増幅する。 どちらの介入も、任意の位置に注意シンクを複製することができる。 我々の機械的理解は、沈み込み形成の体系的な制御の基礎となる。 最後に、概念実証として、事前学習中に値集約出力を安定化させるアーキテクチャ変更である「textit{head-wise RMSNorm}」を提案する。 実験により, 位置間の統計パリティの回復が, 収束を著しく加速することが示された。

関連論文リスト

• Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
  幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。 本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
  論文  参考訳（メタデータ） (2026-04-11T13:59:05Z)
• OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
  シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。 そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-08T03:05:16Z)
• The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks [32.60957674853853]
  トランスフォーマー言語モデルにおける2つの繰り返し現象について検討する。 少数のトークンがいくつかのチャネルで極端な外れ値を示し、注意が沈み込み、特定のトークンが意味的関連性に関係なく不均等な注意質量を引き付けるような大規模なアクティベーション。
  論文  参考訳（メタデータ） (2026-03-05T18:59:04Z)
• How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
  モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
  論文  参考訳（メタデータ） (2026-02-04T11:10:34Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization [18.72807692009739]
  時間的一貫性は、目に見えないデータや破損したデータにまで拡張されるが、セマンティック構造が破壊されると崩壊する。 これらの知見は、特徴力学と一般化をリンクする概念的な視点を示唆している。
  論文  参考訳（メタデータ） (2025-09-24T17:23:56Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。