論文の概要: EST-PRM: Stress-Testing Process Reward Models Before They Become Load-Bearing

• arxiv url: http://arxiv.org/abs/2606.00437v1
• Date: Sat, 30 May 2026 00:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.408417
• Title: EST-PRM: Stress-Testing Process Reward Models Before They Become Load-Bearing
• Title（参考訳）: EST-PRM:ストレステストプロセスのリワードモデル
• Abstract要約: プロセス報酬モデル(PRM)は、ステップレベルの厳密な監督を伴う言語モデルトレーニングで広く使用されている。 この仮定は十分に検証されていないと我々は主張する。 我々は,高密度プロセス報酬のためのストレステストフレームワークである textbfEST-PRM を紹介する。
• 参考スコア（独自算出の注目度）: 6.324418485299426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Process reward models (PRMs) are widely used in language-model training with dense step-level supervision. They assume PRM scores are stable proxies for step correctness under label-preserving transformations. These transformations change reasoning structure but preserve final answers. We argue this assumption is not well validated. Such transformations can change how PRM scores relate to correctness signals, leading to different failure modes across models.To address this gap, we introduce \textbf{EST-PRM}, a stress-testing framework for dense process rewards. It applies three transformations: (1) step inflation, (2) dependency-aware step reordering, and (3) confidence markers. A vulnerability decomposition is defined that separates reward inflation from loss of correctness sensitivity. Five PRM-style models are evaluated on 4,687 reasoning chains from MATH-500, GSM8K, and PRMBench.The results indicate clear differences in vulnerability patterns across models. Math-Shepherd shows the strongest sensitivity to position perturbations, with a Pearson correlation drop of $0.152 \pm 0.038$ and a $32.8 \pm 4.9\%$ score inflation rate. Qwen2.5-Math-PRM is most affected by step inflation, reaching a $47.6 \pm 4.3\%$ inflation rate. Confidence-based perturbations also distort reward calibration, revealing inconsistencies in correctness estimation. Three mitigation strategies are evaluated, highlighting trade-offs between robustness coverage and false-positive rates.
• Abstract（参考訳）: プロセス報酬モデル(PRM)は、ステップレベルの厳密な監督を伴う言語モデルトレーニングで広く使用されている。 PRMスコアは、ラベル保存変換の下でのステップ正しさの安定なプロキシであると仮定する。 これらの変換は推論構造を変えるが、最終的な答えを保持する。 この仮定は十分に検証されていないと我々は主張する。 このような変換は、PRMのスコアが正確性信号とどのように関連しているかを変え、モデル間で異なる障害モードをもたらす可能性がある。 1)ステップインフレーション、(2)依存性を認識したステップリオーダー、(3)信頼マーカーの3つの変換が適用される。 報酬インフレーションと正しさ感度の損失を分離する脆弱性分解を定義する。 MATH-500, GSM8K, PRMBenchの4,687個の推理鎖に対して, 5種類のPRM型モデルを評価した結果, モデル間の脆弱性パターンの違いが明らかとなった。 パーソン相関は0.152 pm 0.038$、32.8 pm 4.9 % % のインフレ率である。 Qwen2.5-Math-PRMはステップインフレーションの影響が最も強く、47.6 \pm 4.3\%のインフレ率に達した。 信頼に基づく摂動もまた報酬のキャリブレーションを歪め、正当性推定の不整合を明らかにする。 3つの緩和策が評価され、ロバストネスカバレッジと偽陽性率のトレードオフが強調される。

関連論文リスト

• The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning [54.0056619145783]
  プロセス・リワード・モデル (Process Reward Models, PRM) は、段階的なフィードバックを提供することで、推論のためのクレジット割り当てを改善する。 ステップレベルのトレーニングデータにおいて,重度の不均衡に起因するPRMの隠れバイアスを同定する。 対照的な段階比較から学習するポリシ対応のPRMトレーニングフレームワークであるPRISMを提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:22:33Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Persona-Model Collapse in Emergent Misalignment [0.0]
  有害な内容を持つ狭いデータに対する微調整された大きな言語モデルは、無関係なプロンプトに対して広範囲に不整合な振る舞いをもたらす。 モラル・サセプティビリティ(S)とモラル・ロバストネス(R)の2つの指標を用いてこの仮説を検証する。 これらのメトリクスは、与えられた文字(S)と、与えられた文字(R)をシミュレートするときにその一貫性を識別するモデルの能力を形式化する。
  論文  参考訳（メタデータ） (2026-05-13T00:48:57Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs [0.0]
  サイコファンの報酬信号が校正を低下させるかどうかを検討する。 3つのモデルに適用されるポストホック行列スケーリングは、ECEを40$--64%$で削減し、精度を1.5$--$$パーセンテージポイントで改善する。 これらの知見は、報酬ハッキングの校正効果を評価する方法論を確立し、校正対応訓練の目的を動機づけるものである。
  論文  参考訳（メタデータ） (2026-04-12T11:09:49Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• Adversarial Training for Process Reward Models [47.92183495904245]
  そこでは、ジェネレータ(G$)が、PRM(R$)を欺くための推論エラーを生成することを学習する。 この相互作用は、R$に対して徐々に強みをもたらし、手動のステップレベルラベルを必要とせずに、その堅牢性を改善し、新しいエラーを一般化する。
  論文  参考訳（メタデータ） (2025-11-28T05:32:01Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。