論文の概要: Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2508.01773v1
• Date: Sun, 03 Aug 2025 14:14:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.056332
• Title: Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning
• Title（参考訳）: 数理推論におけるプロセス逆データ構築と出力集約のための不確実性に基づく手法
• Authors: Jiuzhou Han, Wray Buntine, Ehsan Shareghi,
• Abstract要約: 本稿では,自動プロセス報酬データ構築のための不確実性駆動型フレームワークを提案する。 本稿では,2つの一般的な不確実性を考慮した出力アグリゲーション手法を提案する。 ProcessBench、MATH、GSMPlusの実験では、提案したPRMデータ構築フレームワークの有効性と効率が示されている。
• 参考スコア（独自算出の注目度）: 10.227089771963943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have demonstrated remarkable capabilities in complex mathematical reasoning tasks, but they inevitably generate errors throughout multi-step solutions. Process-level Reward Models (PRMs) have shown great promise by providing supervision and evaluation at each intermediate step, thereby effectively improving the models' reasoning abilities. However, training effective PRMs requires high-quality process reward data, yet existing methods for constructing such data are often labour-intensive or inefficient. In this paper, we propose an uncertainty-driven framework for automated process reward data construction, encompassing both data generation and annotation processes for PRMs. Additionally, we identify the limitations of both majority vote and PRMs, and introduce two generic uncertainty-aware output aggregation methods: Hybrid Majority Reward Vote and Weighted Reward Frequency Vote, which combine the strengths of majority vote with PRMs. Extensive experiments on ProcessBench, MATH, and GSMPlus show the effectiveness and efficiency of the proposed PRM data construction framework, and demonstrate that the two output aggregation methods further improve the mathematical reasoning abilities across diverse PRMs. The code and data will be publicly available at https://github.com/Jiuzhouh/UnPRM.
• Abstract（参考訳）: 大規模言語モデルは複雑な数学的推論タスクにおいて顕著な能力を示してきたが、必然的に多段階解全体にわたってエラーを発生させる。 プロセスレベルのリワードモデル(PRM)は、各中間段階における監督と評価を提供することで、モデルの推論能力を効果的に改善する。 しかしながら、効果的なPRMのトレーニングには高品質なプロセス報酬データが必要であるが、そのようなデータを構築する既存の方法は労働集約的あるいは非効率であることが多い。 本稿では,PRMのデータ生成とアノテーション処理の両方を包含した,自動プロセス報酬データ構築のための不確実性駆動型フレームワークを提案する。 さらに,多数決とPRMの双方の限界を識別し,総称的な不確実性を考慮した出力集約手法として,ハイブリッド・マジョリティ・リワード投票と重み付きリワード周波数投票の2つを導入し,多数決の強みをPRMと組み合わせた。 ProcessBench, MATH, および GSMPlus に関する大規模な実験は,提案した PRM データ構築フレームワークの有効性と有効性を示し, この2つの出力集約手法により, 多様な PRM の数学的推論能力をさらに向上させることを示した。 コードとデータはhttps://github.com/Jiuzhouh/UnPRM.comで公開される。

関連論文リスト

• GM-PRM: A Generative Multimodal Process Reward Model for Multimodal Mathematical Reasoning [12.724393910603299]
  GM-PRM(Generative Multimodal Process Reward Model)を紹介する。 単純なスカラースコアの代わりに、GM-PRMは各推論ステップのきめ細かい解釈可能な分析を提供する。 GM-PRMは複数のマルチモーダル数学ベンチマークにおいて最先端の計算結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-08-06T05:10:29Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)
• DreamPRM: Domain-Reweighted Process Reward Model for Multimodal Reasoning [33.574626079343936]
  マルチモーダルPRMのためのドメイン重み付けトレーニングフレームワークであるDreamPRMを紹介する。 低レベルの最適化では、DreamPRMはドメイン重み付き複数のデータセットで微調整を行う。 上位レベルの最適化では、PRMは別個のメタ学習データセットで評価される。
  論文  参考訳（メタデータ） (2025-05-26T17:20:17Z)
• Beyond the First Error: Process Reward Models for Reflective Mathematical Reasoning [49.21525229904197]
  本研究では,長いCoT推論プロセスのスコアリングに特化して設計されたPRMのための新しいデータアノテーション手法を提案する。 本稿では, 誤り伝播と誤認識の概念を導入し, PRMの効果的な自己訂正行動と誤ったステップに基づく推論の両方を識別する能力を高めた。 我々のPRMは,探索誘導,BoN,F1スコアなど,様々な指標で優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-05-20T14:12:05Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models [33.547353090281284]
  階層的リワードモデルと呼ばれる新しい報酬モデル手法を提案する。 個々の推論ステップと連続推論ステップを、きめ細かいレベルと粗いレベルの両方で評価する。 これは多段階推論コヒーレンスの評価に優れており、特に欠陥のあるステップが後に自己回帰によって修正される場合である。
  論文  参考訳（メタデータ） (2025-03-16T15:18:40Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。