論文の概要: Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization

• arxiv url: http://arxiv.org/abs/2510.13554v1
• Date: Wed, 15 Oct 2025 13:49:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.688253
• Title: Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization
• Title（参考訳）: アテンションイルミネートLDM推論:細粒化政策最適化を可能にするプレプラン&アンカーリズム
• Authors: Yang Li, Zhichen Dong, Yuhan Sun, Weixun Wang, Shaopan Xiong, Yijia Luo, Jiashun Liu, Han Lu, Jiamang Wang, Wenbo Su, Bo Zheng, Junchi Yan,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。 この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。 クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
• 参考スコア（独自算出の注目度）: 56.083511902353365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reasoning pattern of Large language models (LLMs) remains opaque, and Reinforcement learning (RL) typically applies uniform credit across an entire generation, blurring the distinction between pivotal and routine steps. This work positions attention as a privileged substrate that renders the internal logic of LLMs legible, not merely as a byproduct of computation, but as a mechanistic blueprint of reasoning itself. We first distinguish attention heads between locally and globally focused information processing and reveal that locally focused heads produce a sawtooth pattern near the diagonal indicating phrasal chunks, while globally focused heads expose tokens that exert broad downstream influence over future tokens. We formalize these with two metrics: 1) Windowed Average Attention Distance, which measures the extent of backward attention within a clipped window; 2) Future Attention Influence, which quantifies a token's global importance as the average attention it receives from subsequent tokens. Taken together, these signals reveal a recurring preplan-and-anchor mechanism, where the model first performs a long-range contextual reference to generate an introductory token, which is immediately followed by or coincides with a semantic anchor token that organizes subsequent reasoning. Leveraging these insights, we introduce three novel RL strategies that dynamically perform targeted credit assignment to critical nodes (preplan tokens, anchor tokens, and their temporal coupling) and show consistent performance gains across various reasoning tasks. By aligning optimization with the model's intrinsic reasoning rhythm, we aim to transform opaque optimization into an actionable structure-aware process, hoping to offer a potential step toward more transparent and effective optimization of LLM reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論パターンはいまだ不透明であり、強化学習(RL)は一般的に全世代にわたって一様信用を適用し、重要なステップとルーチンステップの区別を曖昧にする。 この研究は、LLMの内部論理を正当に記述する特権基板として、単に計算の副産物としてではなく、推論自体の機械的青写真として注目されている。 まず,局所的に焦点を絞った情報処理とグローバルな情報処理を区別し,局所的に焦点を絞った頭部が対角線付近にソートゥースパターンを生じさせるのに対して,グローバルに焦点を絞った頭部は,将来のトークンに幅広いダウンストリームの影響を及ぼすトークンを露出させる。 これらを2つのメトリクスで形式化します。 1) カットした窓内の後方の注意度を測定する窓付き注意距離 2) トークンのグローバルな重要性を、その後のトークンから受ける平均的な注意力として定量化する将来の注意の影響。 これらの信号は繰り返し発生するプリプラン・アンド・アンカー機構を示し、モデルが最初に長距離のコンテキスト参照を実行して導入トークンを生成し、その後すぐに続くか、あるいはその後の推論を整理するセマンティックアンカートークンと一致する。 これらの知見を活かして、3つの新しいRL戦略を導入し、クリティカルノード(プリプラントークン、アンカートークン、およびそれらの時間的結合)へのターゲットクレジット割り当てを動的に実行し、様々な推論タスクにおいて一貫したパフォーマンス向上を示す。 モデル固有の推論リズムに最適化を合わせることで、不透明な最適化を実行可能な構造認識プロセスに変換することを目指しており、LCM推論をより透過的で効果的に最適化するための潜在的なステップを提供したいと考えている。

関連論文リスト

• Spotlight on Token Perception for Multimodal Reinforcement Learning [65.97597482517425]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力を向上した。 本稿では,トークン認識の新しい視点を通して,マルチモーダルRLVRの先駆的な探索を行う。 本稿では、トークン認識を明示的に活用して学習信号を洗練する新しいポリシー勾配アルゴリズムである視覚知覚政策最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T11:25:33Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training [15.783265191574392]
  我々はZeroTuningを紹介した。ZeroTuningは、初期トークンに頭部特異的な注意調整を適用することで、LCMの性能を向上させる訓練自由な方法である。 このトークンの注意ログに軽量バイアスを加えることで、下流の注意分布のエントロピーを単調に制御できることが理論的に示されている。 検証例を校正する教師ありモードと、モデルの出力エントロピーを直接最小化する教師なしモードの2つのバリエーションを示す。
  論文  参考訳（メタデータ） (2025-05-16T22:52:24Z)
• Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
  CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる 我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。 デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:46:33Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。