論文の概要: Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards

• arxiv url: http://arxiv.org/abs/2605.03862v3
• Date: Thu, 07 May 2026 08:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 17:36:06.150595
• Title: Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards
• Title（参考訳）: 実践者中心のリワードによる推論プランナーの訓練
• Authors: Tianyang Han, Hengyu Shi, Junjie Hu, Xu Yang, Zhiling Wang, Junhao Su,
• Abstract要約: 検証可能な報酬を伴う強化学習は、大規模言語モデルにおける明示的な推論を改善する共通の方法となっている。 しかし、最終回答の正確性だけでは、推論トレースが信頼できるか、信頼できるか、あるいはそれを消費するモデルに有用かは明らかになっていない。 我々は、推論を消費可能な中間アーティファクトとして扱うプランナー・エグゼクタトレーニングフレームワークであるTraceLiftを提案する。
• 参考スコア（独自算出の注目度）: 15.458797431655961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards has become a common way to improve explicit reasoning in large language models, but final-answer correctness alone does not reveal whether the reasoning trace is faithful, reliable, or useful to the model that consumes it. This outcome-only signal can reinforce traces that are right for the wrong reasons, overstate reasoning gains by rewarding shortcuts, and propagate flawed intermediate states in multi-step systems. To this end, we propose TraceLift, a planner-executor training framework that treats reasoning as a consumable intermediate artifact. During planner training, the planner emits tagged reasoning. A frozen executor turns this reasoning into the final artifact for verifier feedback, while an executor-grounded reward shapes the intermediate trace. This reward multiplies a rubric-based Reasoning Reward Model (RM) score by measured uplift on the same frozen executor, crediting traces that are both high-quality and useful. To make reasoning quality directly learnable, we introduce TRACELIFT-GROUPS, a rubric-annotated reason-only dataset built from math and code seed problems. Each example is a same-problem group containing a high-quality reference trace and multiple plausible flawed traces with localized perturbations that reduce reasoning quality or solution support while preserving task relevance. Extensive experiments on code and math benchmarks show that this executor-grounded reasoning reward improves the two-stage planner-executor system over execution-only training, suggesting that reasoning supervision should evaluate not only whether a trace looks good, but also whether it helps the model that consumes it. Our code is available at: https://github.com/MasaiahHan/TraceLift
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、大きな言語モデルにおいて明示的な推論を改善するための一般的な方法となっているが、最終回答の正しさだけでは、その推論トレースが信頼できるか、信頼できるか、あるいはそれを消費するモデルに有用かは明らかになっていない。 この結果のみの信号は、間違った理由で正しいトレースを補強し、ショートカットに報酬を与えることでオーバーステート推論ゲインを増大させ、マルチステップシステムにおける欠陥のある中間状態を伝播させる。 この目的のために我々は、推論を消費可能な中間成果物として扱うプランナー・エグゼクタトレーニングフレームワークであるTraceLiftを提案する。 プランナーのトレーニング中、プランナーはタグ付き推論を発行する。 冷凍エグゼキュータは、この推論を検証者フィードバックの最終成果物に変換し、エグゼキュータグラウンドの報酬は中間トレースを形作る。 この報酬は、ルーブリックベースのReasoning Reward Model(RM)スコアを、同じ凍結エグゼキュータ上で測定されたアップリフト、高品質かつ有用なクレジットトレースに乗じる。 推論品質を直接学習できるようにするために,数学やコードシード問題から構築したルーリックな注釈付き推論専用データセットであるTRACELIFT-GROUPSを導入する。 それぞれの例は、高品質な参照トレースと、タスクの関連性を保ちながら推論品質やソリューションサポートを低下させる局所的な摂動を伴う複数のプラプシブルな欠陥トレースを含む、同じプロブレム群である。 コードと数学のベンチマークに関する大規模な実験によると、このエグゼクティブグラウンドの推論報酬は、実行のみのトレーニングよりも2段階のプランナー・エグゼクティブシステムを改善する。 私たちのコードは、https://github.com/MasaiahHan/TraceLift.comで利用可能です。

関連論文リスト

• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• Training LLMs with LogicReward for Faithful and Rigorous Reasoning [75.30425553246177]
  定理証明器を用いてステップレベルの論理的正しさを強制することでモデルトレーニングを指導する報酬システムであるLogicRewardを提案する。 LogicRewardで構築されたデータに基づいてトレーニングされた8Bモデルは、GPT-4oとo4-miniを11.6%、自然言語推論と論理的推論タスクで2%超えた。
  論文  参考訳（メタデータ） (2025-12-20T03:43:02Z)
• Generating Verifiable CoT from Execution-Traces [6.634229408414094]
  チェーン・オブ・ソート(Chain-of-Thought)のプロンプトは有望だが、現在の総合的なトレーニングデータは重大な弱点に悩まされている。 プログラム実行トレースにCoT生成を直接接地することで、この問題に対処する。 この実行基盤のアプローチは、プログラムが真に計算したものを反映するすべての推論ステップを保証する。
  論文  参考訳（メタデータ） (2025-11-28T07:43:43Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
  本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。 具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。 数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-29T19:27:23Z)
• STRIVE: Structured Reasoning for Self-Improvement in Claim Verification [30.15803409441136]
  自己改善検証のための構造化推論を提案する。 本稿では,Crim Decomposition,Entity Analysis,Evidence Grounding Verificationを用いた構造化推論設計を提案する。 その後、すべてのトレーニング例に対して推論連鎖を生成するために適用され、その後の自己改善トレーニングのために正確で構造的に健全なもののみを選択する。
  論文  参考訳（メタデータ） (2025-02-17T16:07:07Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。