論文の概要: Efficient Process Reward Modeling via Contrastive Mutual Information

• arxiv url: http://arxiv.org/abs/2604.10660v1
• Date: Sun, 12 Apr 2026 14:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.155807
• Title: Efficient Process Reward Modeling via Contrastive Mutual Information
• Title（参考訳）: 相互情報を用いた効率的なプロセスリワードモデリング
• Authors: Nakyung Lee, Sangwoo Hong, Jungwoo Lee,
• Abstract要約: 本稿では,新しい自動報酬表示手法として,CPMI(Contrative Pointwise mutual information)を提案する。 CPMIは、推論ステップがステップと正しいターゲット回答の間の相互情報を増加させる程度を定量化する。 CPMIに基づくラベリングは,MC推定と比較してデータセット構築時間を84%削減し,トークン生成を98%短縮することを示した。
• 参考スコア（独自算出の注目度）: 8.346479730119436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has devoted considerable effort to verifying the intermediate reasoning steps of chain-of-thought (CoT) trajectories using process reward models (PRMs) and other verifier models. However, training a PRM typically requires human annotators to assign reward scores to each reasoning step, which is both costly and time-consuming. Existing automated approaches, such as Monte Carlo (MC) estimation, also demand substantial computational resources due to repeated LLM rollouts. To overcome these limitations, we propose contrastive pointwise mutual information (CPMI), a novel automatic reward labeling method that leverages the model's internal probability to infer step-level supervision while significantly reducing the computational burden of annotating dataset. CPMI quantifies how much a reasoning step increases the mutual information between the step and the correct target answer relative to hard-negative alternatives. This contrastive signal serves as a proxy for the step's contribution to the final solution and yields a reliable reward. The experimental results show that CPMI-based labeling reduces dataset construction time by 84% and token generation by 98% compared to MC estimation, while achieving higher accuracy on process-level evaluations and mathematical reasoning benchmarks.
• Abstract（参考訳）: 最近の研究は、プロセス報酬モデル(PRM)や他の検証モデルを用いて、チェーン・オブ・シンク(CoT)軌道の中間的推論ステップを検証することに多大な努力を払っている。 しかしながら、PRMのトレーニングは通常、人間アノテータが各推論ステップに報酬のスコアを割り当てる必要がある。 モンテカルロ (MC) 推定のような既存の自動的な手法は、繰り返しLLMのロールアウトのためにかなりの計算資源を必要とする。 これらの制約を克服するため,提案手法は,モデル内部の確率を生かし,ステップレベルの監視を推し進めつつ,アノテートデータセットの計算負担を大幅に軽減する,新たな自動報酬ラベル法であるCPMI(Contrative Pointwise mutual information)を提案する。 CPMIは、推論ステップが、ハード負の代替手段と比較して、ステップと正しいターゲット回答の間の相互情報を増加させる程度を定量化する。 この対照的な信号は、最終解へのステップの寄与のプロキシとして機能し、信頼できる報酬を与える。 実験の結果,CPMIに基づくラベル付けは,MC推定よりもデータセット構築時間を84%削減し,トークン生成時間を98%短縮する一方で,プロセスレベルの評価や数学的推論のベンチマークでは高い精度を実現していることがわかった。

関連論文リスト

• GroundedPRM: Tree-Guided and Fidelity-Aware Process Reward Modeling for Step-Level Reasoning [34.42899160708635]
  自動プロセス監視のための木誘導・忠実度対応フレームワークであるGroundedPRMを紹介する。 グラウンドドPRMは40Kの自動的にラベル付けされたサンプルでトレーニングされており、自動ラベル付けされた監視で訓練された最高のパフォーマンスのPRMが使用するデータの10%しか使用できない。 ProcessBenchの平均パフォーマンスは最大で26%向上している。
  論文  参考訳（メタデータ） (2025-10-16T17:54:07Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)
• Process Reward Models That Think [85.06022494911811]
  ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。 この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。 我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
  論文  参考訳（メタデータ） (2025-04-23T15:44:54Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Multi-step Problem Solving Through a Verifier: An Empirical Analysis on Model-induced Process Supervision [40.984680166762345]
  データキュレーションを自動化する新しい手法であるMiPS(Model-induced Process Supervision)を導入する。 MiPSは、推論モデルを通じてこの解の完了をサンプリングし、正しい完了の比率として定義される精度を得ることによって中間段階を注釈する。 提案手法は,算数および符号化タスクにおける PaLM 2 の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-02-05T00:57:51Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。