論文の概要: The Weakest Link Tells It All: Outcome-Supervised Process Reward Modeling via Learnable Credit Assignment
- arxiv url: http://arxiv.org/abs/2606.27739v1
- Date: Fri, 26 Jun 2026 05:38:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.376301
- Title: The Weakest Link Tells It All: Outcome-Supervised Process Reward Modeling via Learnable Credit Assignment
- Title（参考訳）: The Weakest Linkが全てを語る: 学習可能なクレジットアサインメントによるプロセスリワードモデリングのアウトカム
- Abstract要約: プロセス報酬モデル(PRM)は、大規模言語モデル(LLM)の推論能力を高める
アウトカム管理されたPRMは、最終回答の正確性のみから学習することで、スケーラブルな代替手段を提供する。
We propose outcome-Supervised Process Reward Modeling via *L**earnable **C**redit **A**ssignment (**LCA**)。
- 参考スコア（独自算出の注目度）: 25.463488253598133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Process reward models (PRMs) enhance the reasoning capabilities of large language models (LLMs) by providing fine-grained feedback, yet training PRMs typically requires expensive stepwise annotations. Outcome-supervised PRMs offer a scalable alternative by learning from final-answer correctness alone, but this introduces a fundamental *credit assignment* challenge, i.e., attributing outcomes to responsible reasoning steps. Existing approaches rely on either uniform or causal assignment, both of which fail to anchor credit in step correctness and thus hinder process error identification. In this work, we propose Outcome-Supervised Process Reward Modeling via **L**earnable **C**redit **A**ssignment (**LCA**), an outcome-supervised PRM framework that jointly learns credit assignment and reward modeling under the principle of *Weakest Link Assignment: a reasoning chain is as strong as its weakest link*. To address mutual dependence between credit assignment and reward modeling, we formalize outcome-supervised PRM as a Multiple Instance Learning (MIL) problem and introduce Softmax-Weighted-Sum (SWS) pooling, an MIL pooling technique tailored for strong dependence and redundancy among reasoning states. We prove Bayes consistency of our algorithm under mild assumptions. Extensive experiments demonstrate that **LCA** consistently outperforms state-of-the-art outcome-supervised PRMs across multiple tasks and backbones. Code is available at https://anonymous.4open.science/r/LCA.
- Abstract（参考訳）: プロセス報酬モデル(PRM)は、きめ細かいフィードバックを提供することで、大きな言語モデル(LLM)の推論能力を高めるが、PRMのトレーニングは通常、高価なステップワイズアノテーションを必要とする。
アウトカム管理されたPRMは、最終回答の正しさのみから学習することで、スケーラブルな代替手段を提供するが、これは基本的な*クレディットの割り当て*チャレンジ、すなわち、結果を責任ある推論ステップに帰結させる。
既存のアプローチは、統一的あるいは因果的な割り当てに依存しており、どちらもステップの正しさに信用を固定できず、プロセスのエラー識別を妨げている。
本稿では,**L**earnable **C**redit **A**ssignment (**LCA**)によるアウトカム・スーパーバイズド・プロセス・リワード・モデリングを提案する。
与信代入と報酬モデリングの相互依存に対処するため,結果監督型PRMをマルチプルインスタンスラーニング(MIL)問題として定式化し,推論状態間の強い依存と冗長性に適したMILプール技術であるSoftmax-Weighted-Sum(SWS)プーリングを導入する。
本アルゴリズムのベイズ整合性は軽微な仮定で証明する。
広範な実験により、**LCA** は複数のタスクやバックボーンにまたがる最先端の成果管理 PRM を一貫して上回ります。
コードはhttps://anonymous.4open.science/r/LCAで公開されている。
関連論文リスト
- Unsupervised Process Reward Models [22.283171054858496]
プロセス・リワード・モデル(Process Reward Models、PRM)は、大規模言語モデル推論を操る強力なメカニズムである。
PRMは、すべての推論ステップに専門家のアノテーションを必要とします。
そこで本研究では,段階別アノテーションのレベルにおいても,最終回答の真正性検証においても,人間の監督を必要としない教師なしPRMの訓練方法を提案する。
論文 参考訳（メタデータ） (2026-05-11T08:05:27Z) - Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。
既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。
本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2026-01-26T21:38:20Z) - DPRM: A Dual Implicit Process Reward Model in Multi-Hop Question Answering [62.11407895095892]
質問応答タスクでは、Chain of Thought (CoT) は多段階推論を通じて大きな言語モデルを誘導し、知識グラフ (KG) は意味マッチングによる幻覚を減らす。
従来のプロセスリワードモデル(PRM)は推論プロセスを評価するが、コストのかかる人的アノテーションやロールアウト生成を必要とする。
DPRM(Dual Implicit Process Reward Model)は,MHQAタスクにおける2つの暗黙のPRMをCoTとKGの推論のために訓練する。
論文 参考訳（メタデータ） (2025-11-11T15:41:22Z) - GroundedPRM: Tree-Guided and Fidelity-Aware Process Reward Modeling for Step-Level Reasoning [34.42899160708635]
自動プロセス監視のための木誘導・忠実度対応フレームワークであるGroundedPRMを紹介する。
グラウンドドPRMは40Kの自動的にラベル付けされたサンプルでトレーニングされており、自動ラベル付けされた監視で訓練された最高のパフォーマンスのPRMが使用するデータの10%しか使用できない。
ProcessBenchの平均パフォーマンスは最大で26%向上している。
論文 参考訳（メタデータ） (2025-10-16T17:54:07Z) - From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳（メタデータ） (2025-10-13T14:29:15Z) - Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning [30.302863491794543]
Process Reward Models (PRM) は、最終回答に向けてステップバイステップの推論を導くことを目的としている。
既存のPRMは、ステップ間の依存関係をキャプチャしたり、プロセスの報酬を最終的な結果と整合させるのに失敗します。
本稿では,時間的プロセスとして推論をフレーム化して正解を導く条件付きリワードモデリングを提案する。
論文 参考訳（メタデータ） (2025-09-30T17:38:45Z) - GM-PRM: A Generative Multimodal Process Reward Model for Multimodal Mathematical Reasoning [12.724393910603299]
GM-PRM(Generative Multimodal Process Reward Model)を紹介する。
単純なスカラースコアの代わりに、GM-PRMは各推論ステップのきめ細かい解釈可能な分析を提供する。
GM-PRMは複数のマルチモーダル数学ベンチマークにおいて最先端の計算結果が得られることを示す。
論文 参考訳（メタデータ） (2025-08-06T05:10:29Z) - Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。
Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。
Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
論文 参考訳（メタデータ） (2025-05-29T11:40:34Z) - Reward Models Identify Consistency, Not Causality [54.987590763737145]
最先端の報酬モデルでは、因果正しさよりも構造的な一貫性が優先される。
問題文の削除は報酬のスコアに最小限の影響を与える。
数値を変更するか、推論フローを乱すかは、RM出力に大きく影響する。
論文 参考訳（メタデータ） (2025-02-20T14:57:14Z) - Free Process Rewards without Process Labels [55.14044050782222]
より安価な応答レベルラベルでORMをトレーニングすることで,テキストシンプルなPRMを追加のコストで得ることができることを示す。
我々の暗黙のPRMは、クロスエントロピー(CE)損失でインスタンス化されると、よりデータ効率が良く、命令1回に1回しか応答しない訓練でも生成モデルを改善することができることを示す。
論文 参考訳（メタデータ） (2024-12-02T21:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。