論文の概要: Demystifying the Slash Pattern in Attention: The Role of RoPE

• arxiv url: http://arxiv.org/abs/2601.08297v1
• Date: Tue, 13 Jan 2026 07:40:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.10383
• Title: Demystifying the Slash Pattern in Attention: The Role of RoPE
• Title（参考訳）: 留意点におけるスラッシュパターンのデミステレーション:RoPEの役割
• Authors: Yuan Cheng, Fengzhuo Zhang, Yunlong Hou, Cunxiao Du, Chao Du, Tianyu Pang, Aixin Sun, Zhuoran Yang,
• Abstract要約: 我々は,スラッシュ・ドミナント・ヘッド(SDH)の出現を経験的,理論的両面から軽視する。 SDHはモデルに固有のものであり、分布外プロンプトに一般化する。
• 参考スコア（独自算出の注目度）: 108.78812285352507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often exhibit slash attention patterns, where attention scores concentrate along the $Δ$-th sub-diagonal for some offset $Δ$. These patterns play a key role in passing information across tokens. But why do they emerge? In this paper, we demystify the emergence of these Slash-Dominant Heads (SDHs) from both empirical and theoretical perspectives. First, by analyzing open-source LLMs, we find that SDHs are intrinsic to models and generalize to out-of-distribution prompts. To explain the intrinsic emergence, we analyze the queries, keys, and Rotary Position Embedding (RoPE), which jointly determine attention scores. Our empirical analysis reveals two characteristic conditions of SDHs: (1) Queries and keys are almost rank-one, and (2) RoPE is dominated by medium- and high-frequency components. Under these conditions, queries and keys are nearly identical across tokens, and interactions between medium- and high-frequency components of RoPE give rise to SDHs. Beyond empirical evidence, we theoretically show that these conditions are sufficient to ensure the emergence of SDHs by formalizing them as our modeling assumptions. Particularly, we analyze the training dynamics of a shallow Transformer equipped with RoPE under these conditions, and prove that models trained via gradient descent exhibit SDHs. The SDHs generalize to out-of-distribution prompts.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしばスラッシュアテンションパターンを示し、注意スコアは、いくつかのオフセットの$Δ$に対して$Δ$-thサブ対角線に沿って集中する。 これらのパターンはトークン間で情報を渡す上で重要な役割を担います。 しかし、なぜ現れるのか? 本稿では,これらのスラッシュ・ドミナント・ヘッド(SDH)の出現を経験的,理論的両面から明らかにする。 まず、オープンソースのLCMを解析することにより、SDHはモデルに固有のものであり、アウト・オブ・ディストリビューション・プロンプトに一般化する。 内在的な出現を説明するために,クエリ,キー,回転位置埋め込み(Rotary Position Embedding, RoPE)を分析し,注意点を共同で決定する。 実験により,SDHの2つの特性条件が明らかとなった。(1)鍵と鍵がほぼランクオンであり,(2)RoPEは中・高周波成分が支配的である。 このような条件下では、クエリとキーはトークン間でほぼ同一であり、RoPEの中・高周波コンポーネント間の相互作用によってSDHが発生する。 実験的な証拠の他に、これらの条件はモデリング仮定として形式化することでSDHの出現を保証するのに十分であることを示す。 特に, これらの条件下では, 浅部変圧器のトレーニング力学を解析し, 勾配降下によるトレーニングモデルがSDHを示すことを示す。 SDHはアウト・オブ・ディストリビューション・プロンプトに一般化する。

関連論文リスト

• Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
  基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。 RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。 RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
  論文  参考訳（メタデータ） (2025-11-10T18:25:26Z)
• Behind RoPE: How Does Causal Mask Encode Positional Information? [40.16173166190937]
  因果マスクは注意点における位置依存パターンを誘導できることを示す。 因果マスクと RoPE の相互作用は,RoPE の相対的注意点パターンを非相対的に歪曲する。
  論文  参考訳（メタデータ） (2025-09-25T11:48:24Z)
• I Have Covered All the Bases Here: Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders [8.1201445044499]
  LLMの推論の背後にある内部メカニズムは未解明のままである。 仮説をテストするためにスパースオートエンコーダを使用します。 私たちの研究は、LLMにおける推論の機械的理解に向けた第一歩を提供します。
  論文  参考訳（メタデータ） (2025-03-24T16:54:26Z)
• Rotary Offset Features in Large Language Models [0.9137554315375919]
  回転埋め込みを用いた場合,クエリやキーに現れる特徴やパターンについて検討する。 回転周波数が回転オフセット特徴をもたらす境界を導出する。 私たちは、異なるサイズとアーキテクチャのモデルに対して、経験的に予測を検証します。
  論文  参考訳（メタデータ） (2025-03-03T18:55:09Z)
• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
  注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。 これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。 大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
  論文  参考訳（メタデータ） (2025-02-03T17:47:03Z)
• Interpreting Attention Layer Outputs with Sparse Autoencoders [3.201633659481912]
  モデルアクティベーションを解釈可能なコンポーネントに分解することは、機械的解釈可能性において鍵となるオープンな問題である。 この作業では、注意層出力でSAEをトレーニングし、ここでもSAEがスパースで解釈可能な分解を見つけることを示す。 Sparse Autoencodersは、研究者が以前の作業よりも詳細にモデル動作を説明するのに役立つツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-25T17:43:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。