論文の概要: How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective

• arxiv url: http://arxiv.org/abs/2603.06591v1
• Date: Wed, 04 Feb 2026 11:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.399169
• Title: How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective
• Title（参考訳）: 大規模言語モデルにおける注意のシンク : 解釈可能性の観点から
• Authors: Runyu Peng, Ruixiao Li, Mingshu Chen, Yunhua Zhou, Qipeng Guo, Xipeng Qiu,
• Abstract要約: モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
• 参考スコア（独自算出の注目度）: 67.08306259095778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often allocate disproportionate attention to specific tokens, a phenomenon commonly referred to as the attention sink. While such sinks are generally considered detrimental, prior studies have identified a notable exception: the model's consistent emphasis on the first token of the input sequence. This structural bias can influence a wide range of downstream applications and warrants careful consideration. Despite its prevalence, the precise mechanisms underlying the emergence and persistence of attention sinks remain poorly understood. In this work, we trace the formation of attention sinks around the first token of the input. We identify a simple mechanism, referred to as the P0 Sink Circuit, that enables the model to recognize token at position zero and induce an attention sink within two transformer blocks, without relying on any semantic information. This mechanism serves as the basis for the attention sink on position zero. Furthermore, by analyzing training traces from a 30B A3B MoE model trained from scratch, we find that this mechanism emerges early in training and becomes increasingly concentrated in the first two layers, suggesting a possible signal for tracking pre training convergence states.
• Abstract（参考訳）: 大型言語モデル(LLM)はしばしば、注意シンクと呼ばれる現象である特定のトークンに不均等な注意を割り当てる。 このようなシンクは一般的に有害と見なされるが、先行研究では顕著な例外が特定されている。 この構造バイアスは、幅広い下流のアプリケーションに影響を与える可能性がある。 その頻度にもかかわらず、注意の出現と持続性の基礎となる正確なメカニズムはいまだに理解されていない。 本研究では,入力の最初のトークンの周囲の注意シンクの形成をトレースする。 我々はP0シンク回路と呼ばれる単純なメカニズムを同定し、モデルがゼロ位置でトークンを認識できるようにし、2つの変圧器ブロック内に注意シンクを誘導する。 この機構は、位置ゼロの注意シンクの基礎となる。 さらに、スクラッチからトレーニングした30B A3B MoEモデルからのトレーニングトレースを解析することにより、このメカニズムがトレーニングの初期段階に出現し、最初の2層に集中するようになり、事前トレーニング収束状態を追跡するためのシグナルが示唆される。

関連論文リスト

• Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse [11.042559854770422]
  本研究では,バニラ注意とシンク注意の流し込みが自然に注意層内にMixture-of-Experts (MoE) 機構を構築していることを示す。 頭部崩壊を軽減するため,アテンション層用に設計された補助負荷分散損失を有するシンク・アウェア・トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:45:39Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Attention Needs to Focus: A Unified Perspective on Attention Allocation [37.34801068995858]
  Transformer アーキテクチャは現代のLarge Language Models (LLM) の基盤である 標準的な注意機構は、表現的崩壊と注意シンクという、文書化された問題に悩まされている。 どちらも共通のルート(不適切な注意割り当て)にトレース可能である、と論じて、統一された視点を提示します。
  論文  参考訳（メタデータ） (2026-01-01T08:39:15Z)
• Attention Sinks: A 'Catch, Tag, Release' Mechanism for Embeddings [16.950215926321558]
  大型言語モデル(LLM)は、注意シンクと呼ばれるいくつかの特定のトークンに注意を集中することが多い。 一般的な例として、最初のトークン、プロンプト非依存のシンク、句読点がある。 その普遍性にもかかわらず、機能、意味的役割、注意の起源はいまだに理解されていない。
  論文  参考訳（メタデータ） (2025-02-02T21:15:07Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• When Attention Sink Emerges in Language Models: An Empirical View [39.36282162213973]
  言語モデル(LM)は、意味的に重要でない場合でも、最初のトークンに注意を向ける。 この現象は、ストリーミング/ロングコンテキスト生成、KVキャッシュ最適化、推論アクセラレーション、モデル量子化などのアプリケーションで広く採用されている。 我々はまず、小さなモデルであっても様々な入力を持つLMにおいて、注意シンクが普遍的に存在することを実証した。
  論文  参考訳（メタデータ） (2024-10-14T17:50:28Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。