論文の概要: Stop Summation: Min-Form Credit Assignment Is All Process Reward Model Needs for Reasoning

• arxiv url: http://arxiv.org/abs/2504.15275v1
• Date: Mon, 21 Apr 2025 17:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 15:51:36.664534
• Title: Stop Summation: Min-Form Credit Assignment Is All Process Reward Model Needs for Reasoning
• Title（参考訳）: Min-Form Credit Assignmentは、Reasoningに必要なすべてのプロセスリワードモデル
• Authors: Jie Cheng, Ruixi Qiao, Lijun Li, Chao Guo, Junle Wang, Gang Xiong, Yisheng Lv, Fei-Yue Wang,
• Abstract要約: プロセス報酬モデル(PRM)は、大規模言語モデル(LLM)のテストタイムスケーリングにおいて、困難な推論タスクにおいて有効であることが証明されている。 しかしながら、PRMによる報酬ハッキング問題は、強化微調整における彼らの成功を制限している。 本稿では,PRMによる報酬ハッキングの主な原因を,強化学習における正準和形信用代入として同定する。
• 参考スコア（独自算出の注目度）: 25.817231106021552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Process reward models (PRMs) have proven effective for test-time scaling of Large Language Models (LLMs) on challenging reasoning tasks. However, reward hacking issues with PRMs limit their successful application in reinforcement fine-tuning. In this paper, we identify the main cause of PRM-induced reward hacking: the canonical summation-form credit assignment in reinforcement learning (RL), which defines the value as cumulative gamma-decayed future rewards, easily induces LLMs to hack steps with high rewards. To address this, we propose PURE: Process sUpervised Reinforcement lEarning. The key innovation of PURE is a min-form credit assignment that formulates the value function as the minimum of future rewards. This method significantly alleviates reward hacking by limiting the value function range and distributing advantages more reasonably. Through extensive experiments on 3 base models, we show that PRM-based approaches enabling min-form credit assignment achieve comparable reasoning performance to verifiable reward-based methods within only 30% steps. In contrast, the canonical sum-form credit assignment collapses training even at the beginning! Additionally, when we supplement PRM-based fine-tuning with just 10% verifiable rewards, we further alleviate reward hacking and produce the best fine-tuned model based on Qwen2.5-Math-7B in our experiments, achieving 82.5% accuracy on AMC23 and 53.3% average accuracy across 5 benchmarks. Moreover, we summarize the observed reward hacking cases and analyze the causes of training collapse. Code and models are available at https://github.com/CJReinforce/PURE.
• Abstract（参考訳）: プロセス報酬モデル(PRM)は、大規模言語モデル(LLM)のテストタイムスケーリングにおいて、困難な推論タスクにおいて有効であることが証明されている。 しかしながら、PRMによる報酬ハッキング問題は、強化微調整における彼らの成功を制限している。 本稿では,PRMによる報酬ハッキングの主な原因を明らかにする。強化学習(RL)における標準和形クレジット割り当ては,その価値を累積ガンマ分解後の報酬として定義し,高い報酬を伴うステップのハッキングを容易に誘導する。 そこで我々は,PURE: Process sUpervised Reinforcement lEarningを提案する。 PUREの鍵となる革新は、将来の報酬の最小値として値関数を定式化するミニフォームのクレジット代入である。 この方法は、値関数の範囲を制限し、より合理的に利点を分配することにより、報酬ハッキングを著しく軽減する。 3つのベースモデルに対する広範囲な実験により, PRM をベースとした min-form credit assignment の手法が,30% のステップで検証可能な報酬ベースの手法に匹敵する推論性能を達成できることが判明した。 対照的に、標準和形クレジット代入は、最初からトレーニングを中断します! さらに、PRMベースの微調整を10%しか検証できない報酬で補う場合、我々はさらに報酬のハッキングを緩和し、Qwen2.5-Math-7Bに基づく最高の微調整モデルを作成し、5つのベンチマークで平均精度82.5%、AMC23で平均精度53.3%を達成する。 さらに,得られた報酬のハッキング事例を要約し,トレーニング崩壊の原因を分析した。 コードとモデルはhttps://github.com/CJReinforce/PUREで公開されている。

関連論文リスト

• Process Reward Models That Think [86.88809596842428]
  ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。 この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。 我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
  論文  参考訳（メタデータ） (2025-04-23T15:44:54Z)
• Probabilistic Uncertain Reward Model: A Natural Generalization of Bradley-Terry Reward Model [27.40414952747553]
  本稿では,報酬ハッキングに対処する確率的不確実リワードモデル(PURM)を提案する。 PURMは、最終的な報酬性能を改善しつつ、報酬ハッキングの開始を著しく遅らせることを示す実験である。
  論文  参考訳（メタデータ） (2025-03-28T14:39:52Z)
• Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems [54.4392552373835]
  リワードモデル(RM)は、大規模言語モデル(LLM)のトレーニングと推論時間のスケールアップに不可欠である 本稿では,報酬モデルと検証可能な正当性信号を組み合わせた報酬システムであるエージェント報酬モデルを提案する。 我々は,既存の報奨モデルベンチマークと実世界の下流タスクのベスト・オブ・n検索に関する総合的な実験を行う。
  論文  参考訳（メタデータ） (2025-02-26T17:19:12Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• Process Reinforcement through Implicit Rewards [95.7442934212076]
  複雑なプロセス報酬は、大きな言語モデル(LLM)の推論時間スケーリングにおいて、スパースな結果レベルの報酬よりも効果的な選択肢であることが証明されている。 ディエンス報酬は、その微粒な報酬が結果報酬の固有の問題に対処する可能性があるため、LLMの強化学習(RL)に魅力的な選択を与える。 これは主に、高品質なプロセスラベルの収集が違法に高価であるオンラインのトレーニングプロセス報酬モデル(PRM)の課題に起因する可能性がある。 提案するPRIMEは,ポリシロールアウトと結果ラベルのみを用いて,インプットプロセス報酬によるオンラインPRM更新を可能にする。
  論文  参考訳（メタデータ） (2025-02-03T15:43:48Z)
• Entropy-Regularized Process Reward Model [30.279394036823092]
  大規模言語モデル(LLM)は、複雑な多段階推論を行う上で有望であるが、数学的推論に苦慮し続けている。 KL規則化マルコフ決定プロセス(MDP)を統合したエントロピー規則化プロセス報酬モデル(ER-PRM)を提案する。 MATHとGSM8Kベンチマークの実証実験により、ER-PRMは既存のプロセス報酬モデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-15T01:09:23Z)
• Free Process Rewards without Process Labels [55.14044050782222]
  より安価な応答レベルラベルでORMをトレーニングすることで,テキストシンプルなPRMを追加のコストで得ることができることを示す。 我々の暗黙のPRMは、クロスエントロピー(CE)損失でインスタンス化されると、よりデータ効率が良く、命令1回に1回しか応答しない訓練でも生成モデルを改善することができることを示す。
  論文  参考訳（メタデータ） (2024-12-02T21:20:02Z)
• Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning [90.23629291067763]
  大規模言語モデルにおける推論を改善するための有望なアプローチは、プロセス報酬モデル(PRM)を使用することである。 PRMは多段階の推論トレースの各ステップでフィードバックを提供し、結果報酬モデル(ORM)よりも信用割当を改善する可能性がある。 PRMに対して探索を行ったり、強化学習(RL)の報酬として使ったりすることで、基本方針を改善するために、「プロセス報酬をどう設計すべきか?」と質問する。 理論的には,良質なプロデューサの集合を特徴付けるとともに,このようなプロデューサからのプロセス報酬の最適化が,テスト時間探索やオンラインRLの探索を改善することを示す。
  論文  参考訳（メタデータ） (2024-10-10T17:31:23Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Let's Reinforce Step by Step [10.65244642965387]
  人間のフィードバックからの強化学習をモデル推論の形式化に活用する。 以上の結果から, PRM法により得られる微粒な報酬は, 単純な数学的推論の精度を高めることが示唆された。 また、モデル性能において、報酬アグリゲーション関数が果たす重要な役割を示す。
  論文  参考訳（メタデータ） (2023-11-10T01:35:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。