論文の概要: Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

• arxiv url: http://arxiv.org/abs/2505.19706v1
• Date: Mon, 26 May 2025 08:56:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.301787
• Title: Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision
• Title（参考訳）: よりスマートなリワードのためのエラータイピング:エラーを考慮した階層的スーパービジョンによるプロセスリワードモデルの改善
• Authors: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria,
• Abstract要約: PathFinder-PRMは,新しい階層型,誤り認識型識別型PRMである。 PRMBenchでは、PathFinder-PRMが67.7の最先端PRMSコアを新たに達成し、3倍の少ないデータを使用しながら、以前の最高値(65.5)を上回った。
• 参考スコア（独自算出の注目度）: 20.09181711927194
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にマルチホップや数学的問題解決のような推論集約的なタスクにおいて、幻覚を起こす傾向がある。 Outcome Reward Modelsは最終回答のみを検証するが、Process Reward Models (PRMs) は各中間ステップをスコアし、一貫性のあるソリューションに向けて生成を推し進める。 PathFinder-PRMは,まず各ステップで数学と整合性エラーを分類し,これらの微細な信号を組み合わせてステップの正しさを推定する。 PathFinder-PRMをトレーニングするために,PRM800KコーパスとRLHFlow Mistralトレースを3次元ステップレベルラベルで強化し,400Kサンプルデータセットを構築した。 PRMBenchでは、PathFinder-PRMが67.7の最先端PRMSコアを新たに達成し、3倍の少ないデータを使用しながら、以前の最高値(65.5)を上回った。 報酬を導いた欲求探索に適用すると、最強のベースラインに対してprm@8 48.3, a +1.5ポイントのゲインが得られる。 これらの結果から,デカップリング誤り検出と報酬推定は微細な誤差検出を促進させるだけでなく,データ効率を向上したエンドツーエンドの報酬誘導数理推論を大幅に改善することを示した。

関連論文リスト

• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
  モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。 アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
  論文  参考訳（メタデータ） (2024-06-11T17:01:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。