論文の概要: Expected Reasoning-Step Return Unifies On-Policy Learning from Rewards and Teachers

• arxiv url: http://arxiv.org/abs/2609.32674v1
• Date: Sat, 26 Sep 2026 14:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:25:05.103164
• Title: Expected Reasoning-Step Return Unifies On-Policy Learning from Rewards and Teachers
• Title（参考訳）: Reasoning-StepReturnは、リワードと教師によるオンライン学習を統一する
• Abstract要約: オンラインの推論モデルは、タスク報酬や教師の信号から学ぶことができるが、これらのソースは形式が異なり、矛盾する更新を好んでいる。 textbfExpected Reasoning-Step Return (ERSR)を導入する。 本研究は,学生の軌道理論の強化と,失敗者に対する教師の信号の蒸留を行う「textbfReturn-Referenced On-Policy Learning (R$2$OPL)」を提案する。
• 参考スコア（独自算出の注目度）: 4.936021326566167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy reasoning models can learn from task rewards or teacher signals, but these sources differ in form and can favor conflicting updates, leaving unclear which should guide a given reasoning action. We introduce \textbf{Expected Reasoning-Step Return (ERSR)}, which treats semantic reasoning steps as macro-actions and uses Monte Carlo student-policy rollouts to estimate the expected final task reward of student-generated and teacher-proposed actions in a common return space for step-level comparison. ERSR analysis reveals an outcome-dependent asymmetry: student actions are more beneficial than teacher replacements on successful trajectories, whereas teacher replacements become more beneficial on failed trajectories. We further show that student answer-probe gains track student-step ERSR utility and distinguish beneficial from harmful reasoning steps. Based on these findings, we propose \textbf{Return-Referenced On-Policy Learning (R$^2$OPL)}, which reinforces student reasoning on successful trajectories and distills teacher signals on failed ones, while using group success rate for difficulty scaling and student-probe gains for step-level modulation. Experiments across reasoning benchmarks and teacher--student configurations show that R$^2$OPL consistently outperforms strong baselines. ERSR training dynamics further show that R$^2$OPL jointly exploits substantial utility from both reward- and teacher-side signals, whereas existing hybrids often leave substantial residual utility in one branch.
• Abstract（参考訳）: オンラインの推論モデルは、タスク報酬や教師の信号から学ぶことができるが、これらのソースは形式が異なり、矛盾する更新を好む可能性がある。 我々は,意味論的推論ステップをマクロアクションとして扱う「textbf{Expected Reasoning-Step Return (ERSR)」を導入し,モンテカルロの学生政治のロールアウトを用いて,ステップレベル比較のための共通リターン空間において,生徒が作成した教師が提案する行動の最終タスク報酬を推定する。 ERSR分析は結果依存の非対称性を明らかにしている: 学生の行動は、成功した軌道上の教師の代替よりも有益であるのに対して、教師の代替は失敗した軌道上でより有益になる。 さらに,学生の回答確率は,学生ステップのERSRユーティリティをトラックし,有害な推論ステップと区別することを示す。 これらの結果に基づいて,学習者の軌道上の推論と教師の信号の蒸留を強化し,スケーリングの困難さとステップレベルの調整にグループ成功率を使用しながら,学生の軌道上の推論を補強する「textbf{Return-Referenced On-Policy Learning (R$^2$OPL)} を提案する。 R$^2$OPLは、推論のベンチマークと教師の学生構成による実験により、強いベースラインを一貫して上回ることを示した。 ERSRのトレーニングダイナミクスは、R$^2$OPLが報酬側と教師側の両方の信号から実質的なユーティリティを共同で活用していることを示している。

関連論文リスト

• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
  大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。 オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。 我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T18:57:44Z)
• Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
  Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。 軌道選択と教師選択の両方において,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-01-20T18:58:10Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。