論文の概要: Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs

• arxiv url: http://arxiv.org/abs/2505.11227v1
• Date: Fri, 16 May 2025 13:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.070346
• Title: Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs
• Title（参考訳）: PRMは必要か? 問題解法RLはLPMのPRM能力を誘導する
• Authors: Zhangying Feng, Qianglong Chen, Ning Lu, Yongqian Li, Siqi Cheng, Shuangmu Peng, Duyu Tang, Shengcai Liu, Zhirui Zhang,
• Abstract要約: 我々は,RLトレーニングとPRM能力の関係を系統的に調査する。 本研究は,問題解決能力とプロセス管理能力が相補的な推論の次元を表わすことを示した。 本稿では,モデルが生成したソリューションを自律的に評価・再評価するイントロスペクティブフレームワークであるSelf-PRMを提案する。
• 参考スコア（独自算出の注目度）: 26.49278448640309
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The development of reasoning capabilities represents a critical frontier in large language models (LLMs) research, where reinforcement learning (RL) and process reward models (PRMs) have emerged as predominant methodological frameworks. Contrary to conventional wisdom, empirical evidence from DeepSeek-R1 demonstrates that pure RL training focused on mathematical problem-solving can progressively enhance reasoning abilities without PRM integration, challenging the perceived necessity of process supervision. In this study, we conduct a systematic investigation of the relationship between RL training and PRM capabilities. Our findings demonstrate that problem-solving proficiency and process supervision capabilities represent complementary dimensions of reasoning that co-evolve synergistically during pure RL training. In particular, current PRMs underperform simple baselines like majority voting when applied to state-of-the-art models such as DeepSeek-R1 and QwQ-32B. To address this limitation, we propose Self-PRM, an introspective framework in which models autonomously evaluate and rerank their generated solutions through self-reward mechanisms. Although Self-PRM consistently improves the accuracy of the benchmark (particularly with larger sample sizes), analysis exposes persistent challenges: The approach exhibits low precision (<10\%) on difficult problems, frequently misclassifying flawed solutions as valid. These analyses underscore the need for continued RL scaling to improve reward alignment and introspective accuracy. Overall, our findings suggest that PRM may not be essential for enhancing complex reasoning, as pure RL not only improves problem-solving skills but also inherently fosters robust PRM capabilities. We hope these findings provide actionable insights for building more reliable and self-aware complex reasoning models.
• Abstract（参考訳）: 推論能力の発達は、強化学習(RL)とプロセス報酬モデル(PRM)が主要な方法論の枠組みとして出現する大規模言語モデル(LLM)研究における重要なフロンティアである。 従来の知恵とは対照的に、DeepSeek-R1の実証的な証拠は、数学的な問題解決に焦点を当てた純粋なRLトレーニングは、PRM統合なしで推論能力を徐々に向上させ、プロセス監視の必要性の認識に挑戦することを示した。 本研究では,RLトレーニングとPRM能力の関係を系統的に検討する。 本研究は, 純粋RL学習において相乗的に共進化する推論の相補的次元を, 問題解決能力とプロセス監視能力が表すことを示した。 特に、現在のPRMはDeepSeek-R1やQwQ-32Bといった最先端モデルに適用された場合、多数決投票のような単純なベースラインを弱めている。 この制限に対処するために,モデルが自己回帰機構を通じて生成したソリューションを自律的に評価・再評価するイントロスペクティブ・フレームワークであるSelf-PRMを提案する。 Self-PRMはベンチマークの精度を(特に大きなサンプルサイズで)一貫して改善するが、分析は永続的な課題を露呈する。 これらの分析は、報酬アライメントとイントロスペクティブ精度を改善するために、継続的なRLスケーリングの必要性を浮き彫りにした。 以上の結果から, PRMは複雑な推論に必須ではなく, 純粋なRLは問題解決能力の向上だけでなく, 頑健なPRM機能の向上にも有効である可能性が示唆された。 これらの発見によって、より信頼性が高く自己認識の複雑な推論モデルを構築する上で、実用的な洞察が得られればと思っています。

関連論文リスト

• RM-R1: Reward Modeling as Reasoning [81.50471199906738]
  Reasoning Reward Models (ReasRMs) は、報酬モデリングを推論タスクとして定式化する。 我々は推論指向のトレーニングパイプラインを提案し、ReasRMのファミリーであるRM-R1を訓練する。 我々のモデルは、平均して3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-05T06:11:12Z)
• Trade-offs in Large Reasoning Models: An Empirical Analysis of Deliberative and Adaptive Reasoning over Foundational Capabilities [101.77467538102924]
  近年のLRM(Large Reasoning Models)の進歩は、特殊推論タスクにおいて顕著な性能を示している。 議論的推論能力の獲得は, LRMの基礎的能力を大幅に低下させることを示す。 適応推論(Zero-Thinking, Less-Thinking, Summary-Thinking)がこれらの欠点を効果的に軽減できることを示します。
  論文  参考訳（メタデータ） (2025-03-23T08:18:51Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• PRMBench: A Fine-grained and Challenging Benchmark for Process-Level Reward Models [28.74956741932006]
  PRMベンチ(PRM Bench)は, PRMの微細な誤差検出機能を評価するための, プロセスレベルのベンチマークである。 PRMBenchは、6,216の慎重に設計された問題と83,456のステップレベルラベルで構成され、複数の次元にわたるモデルを評価する。
  論文  参考訳（メタデータ） (2025-01-06T16:31:45Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。