論文の概要: Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training

• arxiv url: http://arxiv.org/abs/2509.25758v1
• Date: Tue, 30 Sep 2025 04:23:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.014056
• Title: Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training
• Title（参考訳）: 思考の火花!:訓練中の推論モデルにおける創発的注意頭
• Abstract要約: 複雑な推論のためのポストトレーニングは、新規で機能的に専門化された注目の頭が出現するきっかけとなることを示す。 これらのヘッドは、構造化推論と計算をサポートする。 制御可能なシンク/オフモデルには、専用のシンクヘッドがないことが分かっています。
• 参考スコア（独自算出の注目度）: 20.148778622419503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable capabilities of modern large reasoning models are largely unlocked through post-training techniques such as supervised fine-tuning and reinforcement learning. However, the architectural mechanisms behind such improvements remain largely opaque. In this work, we use circuit analysis to demonstrate that post-training for complex reasoning sparks the emergence of novel, functionally specialized attention heads. These heads collectively support structured reasoning and computation. Our comparative analysis across Qwen families and DeepSeek-distilled model reveals that these emergent heads evolve differently under different training regimes. Distillation and SFT foster a cumulative addition of stable reasoning heads. In contrast, group relative policy optimization operates in a dynamic search mode: relatively few attention heads are iteratively activated, evaluated, and pruned, with their survival closely tracking fluctuations in the task reward signal. Furthermore, we find that controllable think on/off models do not possess dedicated thinking heads. Instead, turning off explicit reasoning triggers a broader-but less efficient-set of compensatory heads. Through ablation and qualitative analyses, we connect these circuit-level dynamics to a crucial performance trade-off: strengthened heads enable sophisticated problem-solving strategies for difficult problems but can also introduce over-thinking failure modes, such as calculation errors or logical loops on simpler tasks. These findings connect circuit-level dynamics to macro-level performance, identifying an inherent tension where complex reasoning comes at the cost of elementary computations. More broadly, our work points to future directions for training policy design, emphasizing the need to balance the development of effective reasoning strategies with the assurance of reliable, flawless execution.
• Abstract（参考訳）: 現代の大規模推論モデルの顕著な能力は、教師付き微調整や強化学習のようなポストトレーニング技術によって大きく解放されている。 しかし、このような改善の背景にあるアーキテクチャメカニズムは、いまだに不透明である。 本研究では,回路解析を用いて,複雑な推論のためのポストトレーニングが,新規で機能的特化された注目ヘッドの出現を誘発することを示す。 これらのヘッドは、構造化推論と計算をサポートする。 QwenファミリーとDeepSeekを蒸留したモデルを比較すると、これらの頭は異なる訓練体制下で異なる進化を遂げていることがわかる。 蒸留とSFTは安定な推論ヘッドの累積付加を促進する。 これとは対照的に、グループ相対ポリシー最適化は動的検索モードで動作し、比較的少ない注意頭が反復的に活性化され、評価され、切断され、タスク報酬信号の揺らぎを忠実に追跡する。 さらに、制御可能なシンク/オフモデルには専用のシンクヘッドがないことが判明した。 代わりに、明示的な推論をオフにすると、より広いが効率の低い補償ヘッドがトリガーされる。 強化されたヘッドは、困難な問題に対して高度な問題解決戦略を可能にすると同時に、計算エラーや単純なタスクにおける論理ループなどの過度な失敗モードも導入できる。 これらの結果は、回路レベルのダイナミクスとマクロレベルのパフォーマンスを結びつけ、複雑な推論が基礎計算のコストで生じる固有の緊張を識別する。 より広範に、当社の作業は、効果的な推論戦略の開発と信頼性、欠陥のない実行の保証のバランスをとる必要性を強調しながら、政策設計の今後の方向性を指している。

関連論文リスト

• Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
  大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。 コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。 その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
  論文  参考訳（メタデータ） (2026-04-29T22:55:40Z)
• Native Reasoning Models: Training Language Models to Reason on Unverifiable Data [16.065264121785294]
  NRT(Native Reasoning Training)は、複雑な推論を育む新しいフレームワークである。 NRTは、推論プロセスを潜在変数として扱うことで、トレーニング問題を再構築する。 NRTは検証不要な手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-12T04:15:46Z)
• Mitigating Overthinking in Large Reasoning Models via Difficulty-aware Reinforcement Learning [13.096138112729358]
  大規模推論モデル(LRM)は、人間の深い思考行動を模倣することによって、明確な連鎖展開を実現する。 しかし、深い思考モードは、単純なタスクを扱う際に、必要以上に長い推論とリソースの非効率をもたらすことが多い。 本稿では,強化学習に基づくLEM学習フレームワークであるDifficulty-Aware Policy Optimization (DiPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T08:56:45Z)
• Scaling Reasoning Hop Exposes Weaknesses: Demystifying and Improving Hop Generalization in Large Language Models [66.36240676392502]
  CoT(Chain-of- Thought)推論は、LLM(Large Language Models)が複雑な問題を解決するための標準パラダイムとなっている。 近年の研究では、ホップ一般化シナリオの推論性能が急落している。 推論過程におけるEPヘッドを動的に識別・非活性化する軽量な介入法である推論の試験時間補正を提案する。
  論文  参考訳（メタデータ） (2026-01-29T03:24:32Z)
• CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs [53.199517625701475]
  CoGはDual-Process Theoryにインスパイアされたトレーニング不要のフレームワークで、直観と熟考の相互作用を模倣している。 CoGは精度と効率の両方において最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-16T07:27:40Z)
• STaR: Towards Cognitive Table Reasoning via Slow-Thinking Large Language Models [12.745473719032026]
  本稿では、認知テーブル推論を実現するための新しいフレームワークSTaR(slow-thinking for table reasoning)を提案する。 STaRはステップバイステップ思考と不確実性認識推論を明示的にモデル化する。 ベンチマーク実験により、STaRは優れた性能を示し、推論安定性が向上した。
  論文  参考訳（メタデータ） (2025-11-14T12:34:17Z)
• From Efficiency to Adaptivity: A Deeper Look at Adaptive Reasoning in Large Language Models [17.96350700093472]
  現在の大規模言語モデル(LLM)は、タスクの複雑さに関わらず一様推論戦略を適用し、簡単な問題に対して長いトレースを生成しながら、困難なタスクに対する推論の拡張に失敗する。 この調査は、適応性のレンズを通して推論を再構成し、難易度や不確実性といった入力特性に基づいて推論の労力を割り当てる能力について考察する。
  論文  参考訳（メタデータ） (2025-11-13T20:25:04Z)
• Counteracting Matthew Effect in Self-Improvement of LVLMs through Head-Tail Re-balancing [70.35701681177655]
  自己改善は、大きな視覚言語モデルの推論能力を向上するための主流パラダイムとして現れてきた。 本研究では,探索学習による自己改善プロセスにおいて,頭部再バランスを実現するための4つの効率的な戦略を提案する。 我々の手法は視覚的推論能力を常に改善し、バニラ自己改善を平均3.86ポイント上回る。
  論文  参考訳（メタデータ） (2025-10-30T13:26:58Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
  本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。 本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Diving into Self-Evolving Training for Multimodal Reasoning [36.70979791148913]
  自己進化的トレインは複雑な推論タスクの鍵となるアプローチとして登場した。 本稿では,強化学習のレンズによるマルチモーダル推論のための自己進化学習を再構成する。 M-STARは、様々なサイズと多様なベンチマークのモデル間で一貫したパフォーマンス向上を実現するフレームワークである。
  論文  参考訳（メタデータ） (2024-12-23T10:18:41Z)
• Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
  本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。 モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Decentralized Adversarial Training over Graphs [44.03711922549992]
  近年、敵攻撃に対する機械学習モデルの脆弱性が注目されている。 マルチエージェントシステムのための分散逆数フレームワークを開発する。
  論文  参考訳（メタデータ） (2023-03-23T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。