論文の概要: Learning Process Rewards via Reasoning State Propagation

• arxiv url: http://arxiv.org/abs/2609.39220v1
• Date: Wed, 30 Sep 2026 07:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.413488
• Title: Learning Process Rewards via Reasoning State Propagation
• Title（参考訳）: Reasoning State Propagationによる学習プロセスのリワード
• Abstract要約: プロセス報酬モデル(PRM)は、テストタイムのスケーリングと強化学習において顕著な効果を示した。 本稿では、各推論プレフィックスを2値の妥当性で表現するReasoning State propagation (RSP)を紹介する。 RSPは中間状態を最終状態に接続し、プロセスアノテーションが中間状態を監督し、結果ラベルが最終状態を監督する。
• 参考スコア（独自算出の注目度）: 63.366358537324125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Process reward models (PRMs) have demonstrated notable effectiveness in test-time scaling and reinforcement learning by providing fine-grained signals for evaluating intermediate reasoning states, but their training relies heavily on costly process annotations. A natural way to alleviate this dependence is to complement limited process supervision with scalable outcome supervision. However, existing PRMs often model reasoning prefixes independently, providing no explicit mechanism for effectively using final outcome to guide the learning of intermediate reasoning states. We introduce Reasoning State Propagation (RSP), which represents each reasoning prefix with a binary validity state and models transitions between successive states across the reasoning trajectory. Specifically, RSP predicts a break probability that a valid state becomes invalid and a repair probability that an invalid state returns to valid. By propagating these transitions, RSP connects intermediate states to the final state, allowing process annotations to supervise intermediate states while outcome labels supervise the final state and can provide learning signals to preceding steps. Across reasoning search, response selection, and reinforcement learning, RSP consistently outperforms representative PRM baselines, with average improvements over Qwen2.5-Math-PRM of 5.6% in beam search and 2.1% in reinforcement learning.
• Abstract（参考訳）: プロセス報酬モデル(PRM)は、中間的推論状態を評価するための微粒な信号を提供することによって、テスト時のスケーリングと強化学習において顕著な効果を示したが、それらのトレーニングはコストの高いプロセスアノテーションに大きく依存している。 この依存を軽減する自然な方法は、限られたプロセスの監督とスケーラブルな結果の監督を補完することです。 しかし、既存のPRMは、しばしば独立して推論プレフィックスをモデル化し、中間的推論状態の学習を導くために最終結果を有効に利用する明確なメカニズムを提供しない。 本稿では、各推論プレフィックスを二項正当性で表現し、推論軌道を横断する連続状態間の遷移をモデル化するReasoning State Propagation (RSP)を紹介する。 具体的には、RSPは、有効状態が無効になるブレーク確率と、無効状態が有効に戻る修理確率を予測する。 これらの遷移を伝播することにより、RSPは中間状態を最終状態に接続し、プロセスアノテーションが中間状態を監督し、結果ラベルが最終状態を監督し、前のステップに学習信号を提供する。 推論探索、応答選択、強化学習全般において、RSPは代表的PRMベースラインを一貫して上回り、Qwen2.5-Math-PRMの平均的な改善はビームサーチで5.6%、強化学習で2.1%である。

関連論文リスト

• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• Unsupervised Process Reward Models [22.283171054858496]
  プロセス・リワード・モデル(Process Reward Models、PRM)は、大規模言語モデル推論を操る強力なメカニズムである。 PRMは、すべての推論ステップに専門家のアノテーションを必要とします。 そこで本研究では,段階別アノテーションのレベルにおいても,最終回答の真正性検証においても,人間の監督を必要としない教師なしPRMの訓練方法を提案する。
  論文  参考訳（メタデータ） (2026-05-11T08:05:27Z)
• Cross-fitted Proximal Learning for Model-Based Reinforcement Learning [3.5690236380446163]
  隠れた境界を持つオフライン環境では、観測データから直接学習されたモデルはバイアスを受けることがある。 近年の研究では, 部分的に観測可能なマルコフ決定過程(POMDPs)における政策評価を, 条件付きモーメント制約(CMRs)を満たす報奨・送達ブリッジ関数の推定に還元できることが示されている。
  論文  参考訳（メタデータ） (2026-04-06T21:29:57Z)
• APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
  テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。 我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。 本稿では,Anchor-based Process Reward (APR)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T14:53:20Z)
• Beyond Outcome Verification: Verifiable Process Reward Models for Structured Reasoning [14.632557283678898]
  検証可能なプロセスリワードモデル(VPRM)は、中間推論ステップを決定論的、ルールベースの検証によってチェックする強化学習フレームワークである。 医療エビデンス合成のためのリスク・オブ・バイアス評価にVPRMを適用した。 その結果、VPRMは最先端モデルよりも20%高いF1、検証可能な結果報酬より6.5%高いF1を達成することがわかった。
  論文  参考訳（メタデータ） (2026-01-23T23:22:20Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
  本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-14T16:23:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。