論文の概要: Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
- arxiv url: http://arxiv.org/abs/2605.31558v1
- Date: Fri, 29 May 2026 17:22:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.769099
- Title: Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
- Title（参考訳）: 位置と記号的注意:学習ダイナミクス、RoPE幾何学、長さ一般化
- Abstract要約: 制御された環境下でのアテンションヘッドの学習ダイナミクスについて検討する。
学習の成功は、自分自身を位置的あるいは象徴的な存在として表す純粋頭部の出現と関連していることを示す。
- 参考スコア（独自算出の注目度）: 1.5085587910317413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models are widespread in today's society. As such, understanding the mechanisms by which they solve structured tasks and predicting how they may behave in novel scenarios is of great importance for safe deployment. We study the learning dynamics of attention heads in a controlled setting by training a decoder-only Transformer (GPT-J) on two structurally equivalent multi-hop reasoning tasks: a number task requiring positional reasoning and a letter task requiring symbolic reasoning. Using a recently introduced metric that classifies attention-head behavior as positional or symbolic for a given prompt, we show that successful learning is associated with the emergence of pure heads, i.e., heads that express themselves as either positional or symbolic. Despite the tasks' structural equivalence, they impose different mechanistic demands: the number task requires both positional and symbolic heads, whereas the letter task requires only symbolic heads. We then identify the computational roles of these heads, characterize the basic functions they implement, and give theoretical constructions showing how single-layer RoPE-based attention can realize these functions through geometrically interpretable query, key, and value operations. This analysis yields a quantitative separation between positional and symbolic mechanisms in their robustness to longer sequences, formalized through a novel notion of discrepancy. We empirically validate the resulting predictions in both controlled and real-world models, showing that symbolic mechanisms extrapolate more reliably to longer sequences while positional mechanisms face sharper limitations.
- Abstract（参考訳）: トランスフォーマーベースの言語モデルは、今日の社会で広く使われている。
このように、構造化されたタスクを解決し、新しいシナリオでどのように振る舞うかを予測するメカニズムを理解することは、安全なデプロイメントにとって非常に重要である。
本稿では,2つの構造的に等価なマルチホップ推論タスクに対して,デコーダのみのトランスフォーマー(GPT-J)を訓練することにより,制御された環境での注目ヘッドの学習ダイナミクスについて検討する。
最近導入された指標を用いて、注意行動が位置的またはシンボル的と分類され、学習の成功は純粋頭部の出現、すなわち、自分自身を位置的またはシンボル的と表現する頭部の出現と関連していることを示す。
数字タスクは位置的ヘッドとシンボル的ヘッドの両方を必要とするが、文字タスクはシンボル的ヘッドのみを必要とする。
次に、これらのヘッドの計算的役割を特定し、それらを実装した基本関数を特徴付け、幾何学的に解釈可能なクエリ、キー、値演算により、単層RoPEベースの注意がどのようにこれらの関数を実現するかを示す理論的構成を与える。
この分析は、その堅牢性における位置的メカニズムと記号的メカニズムを定量的に分離し、新しい相違の概念によって形式化される。
制御されたモデルと実世界のモデルの両方で得られた予測を実証的に検証し、シンボル的メカニズムがより長いシーケンスに確実に外挿され、位置的メカニズムはよりシャープな制限に直面していることを示す。
関連論文リスト
- How LLMs Follow Instructions: Skillful Coordination, Not a Universal Mechanism [2.5997274006052544]
命令追従は普遍的なメカニズムや構成スキルの展開に依存するかを検討する。
すべてのタスクにわたって訓練された一般的なプローブは、限定的な表現共有を示す、タスク固有のスペシャリストを一貫して過小評価している。
時間的分析では、制約満足度は前世代計画ではなく、世代間動的監視として機能している。
論文 参考訳（メタデータ） (2026-04-07T16:12:52Z) - Cognitive Mismatch in Multimodal Large Language Models for Discrete Symbol Understanding [96.81411333150213]
本稿では,最上位のMLLMが個別の意味空間をどのようにナビゲートするかを評価するためのベンチマークを紹介する。
モデルは基本的なシンボル認識に失敗することが多いが、複雑な推論タスクに成功している。
この作業は、より厳格で人間指向のインテリジェントなシステムを開発するためのロードマップを提供する。
論文 参考訳（メタデータ） (2026-03-19T04:08:20Z) - Cognitive Mirrors: Exploring the Diverse Functional Roles of Attention Heads in LLM Reasoning [54.12174882424842]
大規模言語モデル(LLM)は、様々なタスクにおいて最先端のパフォーマンスを達成したが、内部メカニズムに関してはほとんど不透明である。
本稿では,注目者の役割と行動を体系的に分析する新しい解釈可能性フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-03T10:24:34Z) - Selection, Reflection and Self-Refinement: Revisit Reasoning Tasks via a Causal Lens [19.316594303998667]
推論タスクは、機械学習モデルの能力を評価するための厳格なベンチマークとみなされてきた。
我々は、因果的視点から推論タスクを再考し、潜在空間におけるそれらの振る舞いを理解する。
SR$2$と呼ばれるフレームワークを導入し、推定された潜在変数を選択機構にフィードバックとして組み込む。
論文 参考訳（メタデータ） (2025-10-09T13:45:31Z) - Decoupling Positional and Symbolic Attention Behavior in Transformers [40.15480480887269]
トランスフォーマーでは、位置情報は位置 s (PE) を用いて符号化される
近年、RoPEの成功の一部は、大小の周波数を用いて、ロバストな位置情報や意味情報をエンコードする能力から生じると論じられている。
論文 参考訳（メタデータ） (2025-10-03T01:31:15Z) - Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent [66.78052387054593]
この研究は、トランスフォーマーがシンボリックな多段階推論問題をチェーン・オブ・ソート・プロセスを通してどのように解くかを研究する。
モデルがゴールノードからルートへの経路を出力する後方推論タスクと,より複雑な前方推論タスクである。
訓練された一層変圧器は、木々の一般化を保証することにより、両方の課題を確実に解決できることを示す。
論文 参考訳（メタデータ） (2025-08-11T17:40:47Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Iteration Head: A Mechanistic Study of Chain-of-Thought [6.072247578478243]
CoT(Chain-of-Thought)推論は、大規模言語モデルを改善することが知られている。
本稿では,制御・解釈可能な環境下での変圧器のCoT推論について述べる。
論文 参考訳（メタデータ） (2024-06-04T09:11:46Z) - Compositional Attention: Disentangling Search and Retrieval [66.7108739597771]
Multi-head, key-value attention は Transformer モデルとそのバリエーションのバックボーンである。
標準的なアテンションヘッドは、検索と検索の間の厳密なマッピングを学ぶ。
本稿では,標準ヘッド構造を置き換える新しいアテンション機構であるコンポジションアテンションアテンションを提案する。
論文 参考訳（メタデータ） (2021-10-18T15:47:38Z) - The heads hypothesis: A unifying statistical approach towards
understanding multi-headed attention in BERT [18.13834903235249]
マルチヘッドアテンションヘッドはトランスベースのモデルにおける主役です。
対向きの注目度の高いトークン間の関係に基づいて、各注意ヘッドの役割を分類する異なる方法が提案されている。
我々は,注意ヘッドのすべての役割に一般化する単純かつ効果的なスコアを定式化し,このスコアに仮説テストを適用してロバストな推論を行う。
論文 参考訳（メタデータ） (2021-01-22T14:10:59Z) - CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and
Transfer Learning [138.40338621974954]
CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。
タスクは、ブロックのセットから3D形状を構築することで構成される。
論文 参考訳（メタデータ） (2020-10-08T23:01:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。