論文の概要: Internalizing Outcome Supervision into Process Supervision: A New Paradigm for Reinforcement Learning for Reasoning

• arxiv url: http://arxiv.org/abs/2605.05226v1
• Date: Sun, 19 Apr 2026 10:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.614766
• Title: Internalizing Outcome Supervision into Process Supervision: A New Paradigm for Reinforcement Learning for Reasoning
• Title（参考訳）: プロセススーパービジョンへのアウトカムスーパービジョンの内在化:推論のための強化学習のための新しいパラダイム
• Authors: Fei Ding, Yongkang Zhang, Runhao Liu, Yuhao Liao, Zijian Zeng, Sibo wang, Huiming Yang,
• Abstract要約: 我々は、プロセスの監督に成果の監督を内包する問題として、推論のための強化学習が理解可能であると論じる。 本稿では,モデルがプロセスレベルの学習信号を自動抽出できるように,推論のための強化学習のための監視内在化手法を提案する。 さらに、このアイデアを新たなトレーニングパラダイムに抽象化し、モデルが強化学習中に内部プロセスの監督を継続的に生成し、洗練する。
• 参考スコア（独自算出の注目度）: 4.170689045305654
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The central challenge of reinforcement learning for reasoning lies not only in the sparsity of outcome-level supervision, but more fundamentally in how to transform feedback provided only at the end of a sequence into fine-grained learning signals that can guide intermediate reasoning steps. Existing approaches either rely on outcome-level rewards for sequence-level optimization, which makes precise credit assignment difficult, or depend on externally constructed process supervision, which is costly and difficult to scale sustainably. To address this, we propose a new perspective: reinforcement learning for reasoning can be understood as the problem of internalizing outcome supervision into process supervision. From this perspective, we introduce a supervision-internalization method for reinforcement learning for reasoning, enabling the model to automatically extract process-level learning signals through identifying, correcting, and reusing failed reasoning trajectories, thereby achieving finer-grained policy optimization under outcome-only supervision. We further abstract this idea into a new training paradigm, in which the model continually generates and refines its own internal process supervision during reinforcement learning, opening a new path for fine-grained credit assignment in reinforcement learning for reasoning that differs from externally provided process supervision.
• Abstract（参考訳）: 推論のための強化学習という中心的な課題は、結果レベルの監督の空間だけでなく、シーケンスの最後に提供されたフィードバックを、中間的推論ステップを導くことができるきめ細かい学習信号に変換する方法にも根ざしている。 既存のアプローチは、正確なクレジット割り当てを困難にするシーケンスレベルの最適化に結果レベルの報酬に依存するか、あるいは、コストがかかり、持続的にスケールすることが難しい外部構築プロセスの監督に依存する。 そこで我々は,プロセスの監督に成果管理を内在化させる問題として,推論のための強化学習を理解できる,新たな視点を提案する。 そこで本研究では、推論のための強化学習のための監督的内部化手法を導入し、失敗する推論軌道を特定し、修正し、再利用することで、プロセスレベルの学習信号を自動抽出し、結果のみの監視の下でよりきめ細かいポリシー最適化を実現する。 我々はさらに、この概念を新たな訓練パラダイムに抽象化し、強化学習中にモデルが内部プロセスの監督を継続的に生成し、洗練し、外部から提供されるプロセスの監督とは異なる推論のための強化学習におけるきめ細かい信用割当のための新たな道を開く。

関連論文リスト

• Experiential Reinforcement Learning [22.545003569634982]
  経験的強化学習(英語: Experiential Reinforcement Learning, ERL)は、学習プロセスに明示的な経験的回帰・統合のループを組み込む訓練パラダイムである。 ERLは、強い強化学習ベースラインよりも学習効率と最終性能を一貫して改善する。 これらの結果は、明示的な自己回帰を政策訓練に統合することは、フィードバックを耐久性のある行動改善に変換するための実践的なメカニズムをもたらすことを示唆している。
  論文  参考訳（メタデータ） (2026-02-15T01:23:48Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• From Efficiency to Adaptivity: A Deeper Look at Adaptive Reasoning in Large Language Models [17.96350700093472]
  現在の大規模言語モデル(LLM)は、タスクの複雑さに関わらず一様推論戦略を適用し、簡単な問題に対して長いトレースを生成しながら、困難なタスクに対する推論の拡張に失敗する。 この調査は、適応性のレンズを通して推論を再構成し、難易度や不確実性といった入力特性に基づいて推論の労力を割り当てる能力について考察する。
  論文  参考訳（メタデータ） (2025-11-13T20:25:04Z)
• From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
  DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。 DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。 実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
  論文  参考訳（メタデータ） (2025-10-13T14:29:15Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• Do We Need to Verify Step by Step? Rethinking Process Supervision from a Theoretical Perspective [59.61868506896214]
  標準的なデータカバレッジの仮定では、強化学習はプロセスの監督よりも統計的に難しいものではない。 任意のポリシーの利点関数が最適なプロセス報酬モデルとして機能することを証明する。
  論文  参考訳（メタデータ） (2025-02-14T22:21:56Z)
• PSPO*: An Effective Process-supervised Policy Optimization for Reasoning Alignment [18.92519796675559]
  我々は,報酬得点を決定するための推論ステップの数を考慮したPSPO-WRSを開発し,非線形報酬形成に最適化されたワイブル分布を利用する。 6つの数学的推論データセットの実験結果は、PSPO-WRSが現在の主流モデルより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-18T16:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。