論文の概要: Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2509.26578v1
• Date: Tue, 30 Sep 2025 17:38:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.231754
• Title: Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning
• Title（参考訳）: リンクとアウトカム: LLM推論のための条件付きリワードモデリング
• Authors: Zheng Zhang, Ziwei Shan, Kaitao Song, Yexin Li, Kan Ren,
• Abstract要約: Process Reward Models (PRM) は、最終回答に向けてステップバイステップの推論を導くことを目的としている。 既存のPRMは、ステップ間の依存関係をキャプチャしたり、プロセスの報酬を最終的な結果と整合させるのに失敗します。 本稿では,時間的プロセスとして推論をフレーム化して正解を導く条件付きリワードモデリングを提案する。
• 参考スコア（独自算出の注目度）: 30.302863491794543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Process Reward Models (PRMs) have emerged as a promising approach to enhance the reasoning capabilities of large language models (LLMs) by guiding their step-by-step reasoning toward a final answer. However, existing PRMs either treat each reasoning step in isolation, failing to capture inter-step dependencies, or struggle to align process rewards with the final outcome. Consequently, the reward signal fails to respect temporal causality in sequential reasoning and faces ambiguous credit assignment. These limitations make downstream models vulnerable to reward hacking and lead to suboptimal performance. In this work, we propose Conditional Reward Modeling (CRM) that frames LLM reasoning as a temporal process leading to a correct answer. The reward of each reasoning step is not only conditioned on the preceding steps but also explicitly linked to the final outcome of the reasoning trajectory. By enforcing conditional probability rules, our design captures the causal relationships among reasoning steps, with the link to the outcome allowing precise attribution of each intermediate step, thereby resolving credit assignment ambiguity. Further, through this consistent probabilistic modeling, the rewards produced by CRM enable more reliable cross-sample comparison. Experiments across Best-of-N sampling, beam search and reinforcement learning demonstrate that CRM consistently outperforms existing reward models, offering a principled framework for enhancing LLM reasoning. In particular, CRM is more robust to reward hacking and delivers stable downstream improvements without relying on verifiable rewards derived from ground truth.
• Abstract（参考訳）: Process Reward Models (PRMs) は,大規模言語モデル (LLMs) の推論能力を高めるための,最終的な回答に向けてステップバイステップの推論を導く,有望なアプローチとして登場した。 しかしながら、既存のPRMは、分離された各推論ステップを扱い、ステップ間の依存関係をキャプチャできないか、プロセスの報酬を最終的な結果に合わせるのに苦労する。 その結果、報酬信号はシーケンシャルな推論において時間的因果関係を尊重せず、曖昧な信用割り当てに直面している。 これらの制限により、ダウンストリームモデルはハッキングの報奨に脆弱になり、最適以下のパフォーマンスにつながる。 本研究では,LLM推論を時間的プロセスとしてフレーム化して正しい回答をもたらす条件付きリワードモデリング(CRM)を提案する。 各推論ステップの報酬は、前段に条件付けされているだけでなく、推論軌道の最終結果に明示的に関連付けられている。 条件付き確率ルールを強制することにより,各中間ステップの正確な帰属を許容する結果とリンクして,推論ステップ間の因果関係を捕捉し,クレジット割り当ての曖昧さを解消する。 さらに、この一貫した確率的モデリングにより、CRMが生み出す報酬はより信頼性の高いクロスサンプル比較を可能にします。 Best-of-Nサンプリング、ビームサーチ、強化学習による実験では、CRMは既存の報酬モデルより一貫して優れており、LCM推論を強化するための原則化されたフレームワークを提供する。 特にCRMは、ハッキングに対する報酬をより堅牢にし、地上の真実に由来する検証済みの報酬に頼ることなく、安定した下流の改善を提供します。

関連論文リスト

• Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
  PRMも部分的リワードモデルであるという仮説を導入する。 これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。 算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
  論文  参考訳（メタデータ） (2025-08-04T00:58:56Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)
• Reward Reasoning Model [104.39256985858428]
  Reward Reasoning Models (RRM) は、最終的な報酬を生成する前に意図的に推論プロセスを実行するように設計されている。 自己発展型報酬推論能力を育成する強化学習フレームワークを実装した。 特に、RTMはテスト時間計算を適応的に利用して報酬の精度をさらに向上させることができる。
  論文  参考訳（メタデータ） (2025-05-20T17:58:03Z)
• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
  大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。 既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。 ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)
• RM-R1: Reward Modeling as Reasoning [81.50471199906738]
  Reasoning Reward Models (ReasRMs) は、報酬モデリングを推論タスクとして定式化する。 我々は推論指向のトレーニングパイプラインを提案し、ReasRMのファミリーであるRM-R1を訓練する。 我々のモデルは、平均して3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-05T06:11:12Z)
• Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations [30.68740512996253]
  思考の連鎖の説明は、大きな言語モデルの決定過程を調べるために広く使われている。 これらの説明の忠実さを必然的に低減することができることを示す。
  論文  参考訳（メタデータ） (2025-04-07T17:49:23Z)
• Reward Models Identify Consistency, Not Causality [54.987590763737145]
  最先端の報酬モデルでは、因果正しさよりも構造的な一貫性が優先される。 問題文の削除は報酬のスコアに最小限の影響を与える。 数値を変更するか、推論フローを乱すかは、RM出力に大きく影響する。
  論文  参考訳（メタデータ） (2025-02-20T14:57:14Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• Question Decomposition Improves the Faithfulness of Model-Generated Reasoning [23.34325378824462]
  大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。 一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。 このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。 分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
  論文  参考訳（メタデータ） (2023-07-17T00:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。