論文の概要: Mitigating Over-Optimization in PRM-Guided Search in Mathematical Reasoning by Optimizing the Guide

• arxiv url: http://arxiv.org/abs/2608.30051v1
• Date: Sun, 30 Aug 2026 21:25:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.167063
• Title: Mitigating Over-Optimization in PRM-Guided Search in Mathematical Reasoning by Optimizing the Guide
• Title（参考訳）: 数理推論におけるPRM誘導探索における過度最適化の最適化
• Abstract要約: PRM誘導探索は、不完全なプロセス報酬を過度に最適化し、スプリアスを拡大しながら、実行可能なトラジェクトリを刈り取ることができることを示す。 我々は、PRM誘導探索を、妥当な報酬摂動に対する堅牢な最適化問題として定式化する。 微調整やオンライン適応がなければ、マキシミンサーチはPRM誘導サーチを平均17～35%改善する。
• 参考スコア（独自算出の注目度）: 24.905102026459428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Process reward models (PRMs) provide dense step-level guidance for search-based reasoning, enabling inference-time compute to be allocated toward promising partial solutions. However, recent evidence suggests that PRM-guided search can over-optimize imperfect process rewards, pruning viable trajectories while expanding spurious ones. In this work, we theoretically show that directly leveraging PRM score is vulnerable to verifier noise through an extreme-value effect: non-viable prefixes become more likely to receive spuriously high scores as reasoning depth increase. Therefore, we formulate the PRM-guided search as a robust optimization problem over plausible reward perturbations, termed maximin PRM-guided search, leading to a training-free robust process supervision method that preserves promising alternatives when step-level scores are noisy. Maximin PRM-guided search mitigates this failure mode by reducing sensitivity to over-optimized PRM outliers. Without fine-tuning or online adaptation, maximin search consistently improves the PRM-guided search by 17-35\% on average, outperforming outcome- and step-level baselines in 14 out of 16 settings. Our source code is available at https://github.com/tjoo512/maximin-search.
• Abstract（参考訳）: プロセス報酬モデル(PRM)は、探索に基づく推論のための高密度なステップレベルのガイダンスを提供し、推論時間計算を有望な部分解に向けて割り当てることを可能にする。 しかし、最近の証拠は、PRM誘導探索が不完全なプロセス報酬を過度に最適化し、スプリアスを拡大しながら、実行可能な軌道を刻むことを示唆している。 本研究では, PRMスコアの直接利用は, 極値効果による検証ノイズに対して脆弱であることを示す。 そこで本研究では,PRM誘導探索を最大値探索法(maximin PRM誘導探索)よりも頑健な最適化問題として定式化した。 マクシミンPRM誘導探索は、過度に最適化されたPRM出力値に対する感度を低下させることにより、この障害モードを緩和する。 微調整やオンライン適応がなければ、マキシミン検索は平均17～35 %のPRM誘導検索を継続的に改善する。 ソースコードはhttps://github.com/tjoo512/maximin-search.comで公開されています。

関連論文リスト

• The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning [54.0056619145783]
  プロセス・リワード・モデル (Process Reward Models, PRM) は、段階的なフィードバックを提供することで、推論のためのクレジット割り当てを改善する。 ステップレベルのトレーニングデータにおいて,重度の不均衡に起因するPRMの隠れバイアスを同定する。 対照的な段階比較から学習するポリシ対応のPRMトレーニングフレームワークであるPRISMを提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:22:33Z)
• Process Reward Agents for Steering Knowledge-Intensive Reasoning [18.184546182516225]
  本稿では,ドメインベースでオンライン,ステップワイドな報酬を凍結ポリシに提供するテストタイム手法であるProcess Reward Agents(PRA)を紹介する。 PRAは強いベースラインを一貫して上回り、Qwen3-4BでMedQAで80.8%の精度を達成した。 PRAは0.5Bから8Bまでの凍結ポリシーモデルを一般化し、ポリシーモデルを更新することなく、その精度を最大25.7%向上させる。
  論文  参考訳（メタデータ） (2026-04-10T16:45:44Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• GroundedPRM: Tree-Guided and Fidelity-Aware Process Reward Modeling for Step-Level Reasoning [34.42899160708635]
  自動プロセス監視のための木誘導・忠実度対応フレームワークであるGroundedPRMを紹介する。 グラウンドドPRMは40Kの自動的にラベル付けされたサンプルでトレーニングされており、自動ラベル付けされた監視で訓練された最高のパフォーマンスのPRMが使用するデータの10%しか使用できない。 ProcessBenchの平均パフォーマンスは最大で26%向上している。
  論文  参考訳（メタデータ） (2025-10-16T17:54:07Z)
• Your Reward Function for RL is Your Best PRM for Search: Unifying RL and Search-Based TTS [62.22644307952087]
  本稿では、RLベースと検索ベースTTSの最初の自然統合であるAIRL-Sを紹介する。 逆逆強化学習(AIRL)とグループ相対政策最適化(GRPO)を組み合わせることで、正しい推論トレースから高密度な動的PRMを直接学習する。 提案手法は,GPT-4oと一致して,ベースモデル上での平均9%の性能向上を図っている。
  論文  参考訳（メタデータ） (2025-08-19T23:41:15Z)
• ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs [75.72672339168092]
  本稿では,新しいトラジェクトリ対応PRMであるReasonFlux-PRMを紹介し,トラジェクトリ応答型推論トレースの評価を行う。 ReasonFlux-PRMはステップレベルとトラジェクトリレベルの両方の監視機能を備えており、構造化された連鎖データと整合した微粒な報酬割り当てを可能にする。 得られたReasonFlux-PRM-7Bは、教師付き微調整で平均12.1%、強化学習で4.5%、テスト時間スケーリングで6.3%向上した。
  論文  参考訳（メタデータ） (2025-06-23T17:59:02Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。