Fugu-MT 論文翻訳(概要): Generalizable Process Reward Models via Formally Verified Training Data

論文の概要: Generalizable Process Reward Models via Formally Verified Training Data

arxiv url: http://arxiv.org/abs/2505.15960v2
Date: Sat, 27 Sep 2025 21:15:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-30 17:47:08.956358
Title: Generalizable Process Reward Models via Formally Verified Training Data
Title（参考訳）: 形式的検証学習データによる一般化可能なプロセスリワードモデル
Authors: Ryo Kamoi, Yusen Zhang, Nan Zhang, Sarkar Snigdha Sarathi Das, Rui Zhang,
Abstract要約: FoVerは、正式な検証ツールによって自動的に注釈付けされた正確なステップレベルのエラーラベルでPRMトレーニングデータを合成するアプローチである。実験により、FoVerでトレーニングされたPRMはクロスタスクの一般化を示し、単一のPRMが様々な推論タスクの検証を効果的に行えることを示した。
参考スコア（独自算出の注目度）: 13.781401358802462
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Process Reward Models (PRMs), which provide step-level feedback on reasoning traces generated by Large Language Models (LLMs), are receiving increasing attention. However, two key research gaps remain: creating PRM training data requires costly human annotation to label accurate step-level errors, and existing PRMs are limited to math reasoning domains. In response to these gaps, this paper aims to enable automatic synthesis of accurate PRM training data and the generalization of PRMs to diverse reasoning tasks beyond math reasoning. We propose FoVer, an approach to synthesize PRM training data with accurate step-level error labels automatically annotated by formal verification tools, such as Z3 and Isabelle. To show the practical effectiveness of FoVer, we synthesize a training dataset by annotating step-level error labels on LLM responses to formal logic and theorem proving tasks, without relying on human annotation. While FoVer creates training data with symbolic tasks compatible with formal verification, our experiments show that PRMs trained on our dataset exhibit cross-task generalization, enabling a single PRM to effectively perform verification across diverse reasoning tasks. Specifically, LLM-based PRMs trained with FoVer significantly outperform PRMs based on the original LLMs and achieve competitive or superior results compared to state-of-the-art PRMs, as measured by step-level verification on ProcessBench and Best-of-K performance across 12 reasoning benchmarks, including MATH, AIME, ANLI, MMLU, and BBH. The dataset and code are in the supplementary material and will be made public. The datasets, models, and code are provided at https://github.com/psunlpgroup/FoVer.
Abstract（参考訳）: 大規模言語モデル(LLM)が生み出す推論トレースに対する段階的なフィードバックを提供するプロセス・リワード・モデル(PRM)が注目されている。しかし、PRMトレーニングデータを作成するには、正確なステップレベルのエラーをラベル付けるのに人為的アノテーションが必要であり、既存のPRMは数学推論領域に限られている。これらのギャップに対応するために,本論文は,正確なPRMトレーニングデータの自動合成と,算数推論以外の多様な推論タスクへのPRMの一般化を実現することを目的としている。本稿では,Z3 や Isabelle などの形式検証ツールによって自動的に注釈付けされたステップレベルのエラーラベルを精度良く生成する手法であるFoVerを提案する。実際のFoVerの有効性を示すために,人間のアノテーションに頼ることなく,LLM応答に対するステップレベルのエラーラベルを形式論理や定理証明タスクにアノテートすることで,トレーニングデータセットを合成する。 FoVerは、形式的検証と互換性のあるシンボリックなタスクでトレーニングデータを生成するが、我々の実験では、データセットでトレーニングされたPRMがクロスタスクの一般化を示し、単一のPRMが様々な推論タスクを効果的に検証できるようにする。具体的には、FoVerでトレーニングされたPLMは、MATH、AIME、ANLI、MMLU、BBHを含む12の推論ベンチマークにおけるProcessBenchとBest-of-Kのパフォーマンスのステップレベル検証によって測定され、元のLMMに基づいてPRMを著しく上回り、最先端のPRMと比較すると、競争力や優れた結果が得られる。データセットとコードは補足資料にあり、公開されます。データセット、モデル、コードはhttps://github.com/psunlpgroup/FoVerで提供されている。

関連論文リスト

Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
論文参考訳（メタデータ） (2025-05-29T11:40:34Z)
Beyond the First Error: Process Reward Models for Reflective Mathematical Reasoning [49.21525229904197]
本研究では,長いCoT推論プロセスのスコアリングに特化して設計されたPRMのための新しいデータアノテーション手法を提案する。本稿では, 誤り伝播と誤認識の概念を導入し, PRMの効果的な自己訂正行動と誤ったステップに基づく推論の両方を識別する能力を高めた。我々のPRMは,探索誘導,BoN,F1スコアなど,様々な指標で優れた性能を実現している。
論文参考訳（メタデータ） (2025-05-20T14:12:05Z)
Accurate and Diverse LLM Mathematical Reasoning via Automated PRM-Guided GFlowNets [6.001837672951086]
モンテカルロ木探索を用いたプロセス・リワード・モデル(PRM)を提案する。次に、生成フローネットワーク(GFlowNets)を推論ステップレベルで運用するように適応します。経験的評価は、挑戦的な数学的ベンチマークにおいて、精度と解の多様性の両方が強く改善されていることを示している。
論文参考訳（メタデータ） (2025-04-28T16:56:41Z)
Process Reward Models That Think [86.88809596842428]
ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
論文参考訳（メタデータ） (2025-04-23T15:44:54Z)
GenPRM: Scaling Test-Time Compute of Process Reward Models via Generative Reasoning [35.429904556288996]
我々は、コード検証を伴う明示的なChain-of-Thought(CoT)推論を行う生成プロセス報酬モデルGenPRMを紹介する。実験の結果,GenPRMはMATHデータセットから23Kのトレーニングデータしか得られず,従来のPRMよりも有意に優れていた。
論文参考訳（メタデータ） (2025-04-01T15:21:05Z)
The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文参考訳（メタデータ） (2025-03-04T18:56:03Z)
Free Process Rewards without Process Labels [55.14044050782222]
より安価な応答レベルラベルでORMをトレーニングすることで,テキストシンプルなPRMを追加のコストで得ることができることを示す。我々の暗黙のPRMは、クロスエントロピー(CE)損失でインスタンス化されると、よりデータ効率が良く、命令1回に1回しか応答しない訓練でも生成モデルを改善することができることを示す。
論文参考訳（メタデータ） (2024-12-02T21:20:02Z)
InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
論文参考訳（メタデータ） (2023-11-20T07:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。