論文の概要: Learning to Reason Efficiently with Interventional Step Credit
- arxiv url: http://arxiv.org/abs/2610.25876v1
- Date: Mon, 19 Oct 2026 06:35:57 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:14:37.147504
- Title: Learning to Reason Efficiently with Interventional Step Credit
- Title（参考訳）: インターベンショナル・ステップ・クレジットによる効果的な推論の学習
- Abstract要約: 我々は、因果的介入の視点を取り入れ、推論にステップの重要性を評価する介入ステップクレジット(ISC)を提案する。
IGPOも提案する。IGPOはISCを用いて強化学習における微細な優位性の再スケーリングを導出する。
- 参考スコア（独自算出の注目度）: 41.53847963864126
- License:
- Abstract: Large reasoning models often produce lengthy chain-of-thought (CoT) traces mixing useful intermediate steps with unnecessary ones. Recent methods explore step-level signals such as attention mass and step entropy to identify and suppress unnecessary steps. Despite their effectiveness, such signals reflect the model's behavior at a step rather than that step's contribution to the answer. To address this, we propose the interventional step credit (ISC), which takes a causal-intervention view and assesses step importance to the reasoning through targeted parameter-level interventions. Building on ISC, we further propose IGPO, which uses ISC to guide fine-grained advantage rescaling in reinforcement learning, reducing redundant steps while preserving the important ones. Experiments across two model scales and nine benchmarks show that IGPO achieves up to 62% average token reduction and better overall performance among compared methods.
- Abstract（参考訳）: 大きな推論モデルは、しばしば、不要なものと有用な中間段階を混合する長いチェーン・オブ・シント(CoT)トレースを生成する。
近年の手法では、注意質量やステップエントロピーなどのステップレベルの信号を探索し、不要なステップを特定して抑制している。
その効果にもかかわらず、そのような信号は、そのステップの解答への貢献よりも、あるステップでモデルの振舞いを反映する。
そこで本研究では、因果介入の視点を取り入れた介入ステップクレジット(ISC)を提案し、目的パラメータレベルの介入による推論におけるステップ重要度を評価する。
ISC上に構築したIGPOは、IGPOを用いて強化学習における微細な優位性の再スケーリングを誘導し、重要なものを保存しながら冗長なステップを削減する。
2つのモデルスケールと9つのベンチマークで実験した結果、IGPOは平均トークンの削減率を最大62%、比較した手法で全体のパフォーマンスを向上することがわかった。
関連論文リスト
- Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳（メタデータ） (2026-02-27T20:23:59Z) - ATTNPO: Attention-Guided Process Supervision for Efficient Reasoning [31.958298572740848]
本稿では,低オーバーヘッドプロセス管理RLフレームワークであるATTNPOを提案する。
まず、冗長な注意を抑えながら、自然に重要なステップに焦点をあてる、特別な注意のヘッドのセットを特定します。
次に、2つのサブストラテジーを用いて、冗長なステップを回避し、重要なステップに対する罰則を減らし、精度を保ちながら過度な思考を緩和する。
論文 参考訳（メタデータ） (2026-02-10T16:40:22Z) - StepWiser: Stepwise Generative Judges for Wiser Reasoning [52.32416311990343]
プロセス報酬モデルは、ステップバイステップのフィードバックを提供することによって、この問題に対処する。
近年の進歩に触発されて、分類タスクから推論タスク自体への段階的な報酬モデリングを再構築しました。
既存の手法よりも中間段階の精度が向上し, (ii) 訓練時の政策モデルの改善に利用でき, (iii) 推論時探索の改善が図られている。
論文 参考訳（メタデータ） (2025-08-26T17:45:05Z) - SmartThinker: Learning to Compress and Preserve Reasoning by Step-Level Length Control [5.224609066309358]
大規模な推論モデル(LRM)は、推論時間スケーリングを通じて顕著な推論能力を示した。
従来の研究は、強化学習中に生成されたサンプル全体の長さをペナルティ化することでこの問題を緩和しようと試みてきた。
We propose SmartThinker, a two-stage learnable framework designed to enable fine-fine control over the length of reasoning chains。
論文 参考訳（メタデータ） (2025-07-06T11:21:47Z) - Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。
本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
論文 参考訳（メタデータ） (2025-02-18T20:04:51Z) - Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning [20.686094849756937]
プロセス・リワード・モデル (Process Reward Model, PRM) は数学的推論において重要な役割を担い、高品質なプロセスデータを必要とする。
我々は,Large Language Models (LLM) が生成する推論ステップが,厳密なインクリメンタルな情報表示に失敗することが多く,冗長性が生じることを観察する。
本稿では,冗長なステップを検出するための簡易かつ効果的な粗大な戦略CFPRMを提案する。
論文 参考訳（メタデータ） (2025-01-23T12:44:45Z) - Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback [94.25162866972077]
Step-KTOは、プロセスレベルと結果レベルのバイナリフィードバックを組み合わせたトレーニングフレームワークである。
実験の結果,Step-KTOは最終回答の精度と中間推論の質の両方を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-01-18T15:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。