論文の概要: Inducing Process Supervision from Outcome-Only Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.36641v1
• Date: Tue, 29 Sep 2026 03:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.163773
• Title: Inducing Process Supervision from Outcome-Only Reinforcement Learning
• Title（参考訳）: アウトカムオンリー強化学習からのプロセススーパービジョンの導入
• Abstract要約: TIPS(Thinking-induced Process Supervision)は、生成型PRMをトレーニングするための結果のみの強化学習フレームワークである。 TIPSでは、モデルがチェーン・オブ・シークレットを生成し、ステップレベルラベルと結果ラベルを生成する。 数学およびエージェントベンチマークおよび4つのバックボーンファミリーにおけるTIPSの有効性を検証した。
• 参考スコア（独自算出の注目度）: 49.586636067896535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Process reward models (PRMs) have become a key component for LLMs, as their step-level feedback supports both post-training and test-time reasoning. However, training strong PRMs remains costly: human step annotation is difficult to scale, while Monte Carlo estimation is computationally expensive and can drift from the intrinsic correctness of steps. To get effective PRMs at low cost, we introduce TIPS (Thinking-Induced Process Supervision), an outcome-only reinforcement learning (RL) framework for training generative PRMs. In TIPS, the model generates a chain-of-thought (CoT) followed by step-level labels and an outcome label. The reward depends solely on whether the predicted outcome matches the ground truth, and the resulting group-relative advantage is used to optimize the entire generated response. Intuitively, when checking intermediate steps helps determine the outcome, more accurate checks can lead to better outcome judgments and higher rewards. Outcome-only RL can therefore reinforce step-level verification without explicit process supervision. We validate the effectiveness of TIPS across math and agent benchmarks and four backbone families. Notably, TIPS-Qwen3-4B-Thinking-2507 reaches 85.2 F1 on ProcessBench with only 3.2K outcome-labeled trajectories, surpassing all evaluated trained PRMs and strong prompt-only judges such as GPT-5.4-Instruct and Claude-4.7-Opus, while still trailing o1-mini. Code and data are available at https://github.com/RUCBM/TIPS.
• Abstract（参考訳）: プロセス報酬モデル(PRM)は、ステップレベルのフィードバックがポストトレーニングとテストタイム推論の両方をサポートするため、LLMにとって重要なコンポーネントとなっている。 人間のステップアノテーションはスケールが難しいが、モンテカルロ推定は計算に高価であり、ステップの本質的な正しさから逸脱することができる。 低コストで効率的なPRMを実現するために、生成PRMをトレーニングするための結果のみ強化学習(RL)フレームワークであるTIPS(Thinking-induced Process Supervision)を導入する。 TIPSでは、モデルがチェーン・オブ・シークレット(CoT)を生成し、ステップレベルラベルと結果ラベルを生成する。 報酬は、予測結果が基礎的真理に一致するかどうかにのみ依存し、結果として生じるグループ相対的優位性は、生成された応答全体を最適化するために使用される。 直感的には、中間ステップのチェックが結果を決定するのに役立ち、より正確なチェックはより良い結果判断とより高い報酬をもたらす。 したがって、アウトカムのみのRLは、明示的なプロセスの監督なしにステップレベルの検証を強化することができる。 数学およびエージェントベンチマークおよび4つのバックボーンファミリーにおけるTIPSの有効性を検証した。 特に TIPS-Qwen3-4B-Thinking-2507 は ProcessBench 上で 85.2 F1 に達し、結果ラベル付き軌道は 3.2K しかなく、評価済みの PRM と GPT-5.4-Instruct や Claude-4.7-Opus などの強力なプロンプトのみの判断を上回っている。 コードとデータはhttps://github.com/RUCBM/TIPSで公開されている。

関連論文リスト

• Unsupervised Process Reward Models [22.283171054858496]
  プロセス・リワード・モデル(Process Reward Models、PRM)は、大規模言語モデル推論を操る強力なメカニズムである。 PRMは、すべての推論ステップに専門家のアノテーションを必要とします。 そこで本研究では,段階別アノテーションのレベルにおいても,最終回答の真正性検証においても,人間の監督を必要としない教師なしPRMの訓練方法を提案する。
  論文  参考訳（メタデータ） (2026-05-11T08:05:27Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• PAPO: Stabilizing Rubric Integration Training via Decoupled Advantage Normalization [31.935482701047544]
  本稿では,既存の報酬設計の2つの制約に対処するプロセスアウェア・ポリシー・オプティマイズ(PAPO)を提案する。 PAPOはプロセスレベルの評価をグループ相対政策最適化(GRPO)に統合する。 複数のモデルスケールと6つのベンチマークの実験は、PAPOがORMを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-27T15:48:13Z)
• LLM Reasoning with Process Rewards for Outcome-Guided Steps [7.3312414850609215]
  プロセス報酬モデル(PRM)を導入し、中間段階のスコアとより密集した監視を行う。 PRMスコアは最終的な正しさと不完全な整合性を持つことが多く、不正確な答えで終わっている局所的な流動的な推論に報酬を与えることができる。 結果の正しさを優位に保ちつつ,PRMを活用するフレームワークであるPROGRSを提案する。
  論文  参考訳（メタデータ） (2026-02-08T06:38:20Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• Process Reward Models That Think [85.06022494911811]
  ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。 この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。 我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
  論文  参考訳（メタデータ） (2025-04-23T15:44:54Z)
• Free Process Rewards without Process Labels [55.14044050782222]
  より安価な応答レベルラベルでORMをトレーニングすることで,テキストシンプルなPRMを追加のコストで得ることができることを示す。 我々の暗黙のPRMは、クロスエントロピー(CE)損失でインスタンス化されると、よりデータ効率が良く、命令1回に1回しか応答しない訓練でも生成モデルを改善することができることを示す。
  論文  参考訳（メタデータ） (2024-12-02T21:20:02Z)
• Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning [90.23629291067763]
  大規模言語モデルにおける推論を改善するための有望なアプローチは、プロセス報酬モデル(PRM)を使用することである。 PRMは多段階の推論トレースの各ステップでフィードバックを提供し、結果報酬モデル(ORM)よりも信用割当を改善する可能性がある。 PRMに対して探索を行ったり、強化学習(RL)の報酬として使ったりすることで、基本方針を改善するために、「プロセス報酬をどう設計すべきか?」と質問する。 理論的には,良質なプロデューサの集合を特徴付けるとともに,このようなプロデューサからのプロセス報酬の最適化が,テスト時間探索やオンラインRLの探索を改善することを示す。
  論文  参考訳（メタデータ） (2024-10-10T17:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。