論文の概要: Controllable and Verifiable Process Data Synthesis for Process Reward Models

• arxiv url: http://arxiv.org/abs/2605.02395v1
• Date: Mon, 04 May 2026 09:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.223606
• Title: Controllable and Verifiable Process Data Synthesis for Process Reward Models
• Title（参考訳）: プロセスリワードモデルのための制御可能で検証可能なプロセスデータ合成
• Authors: Yinghui Chi, Lucien Wang,
• Abstract要約: プロセス報酬モデル(PRM)のためのプロセス監視データを合成するための制御可能で検証可能なフレームワークを提案する。 筆者らのフレームワークはまず,まず正しいシンボリック推論チェーンを構築し,テンプレート認識エラーを中間ステップに注入し,その後のステップを劣化状態下で再計算し,インジェクトされたステップがそのプレフィックスから導出できないことを確認する。 実験により、合成されたデータは、論理的推論ベンチマークと数理的推論への変換に基づいて、最高の8倍の精度を向上することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Process reward models (PRMs) rely on high-quality process supervision data, yet existing construction methods often provide limited control over error location, error type, and trajectory consistency. We propose a controllable and verifiable framework for synthesizing process supervision data for PRMs. Our framework first constructs a correct symbolic reasoning chain, injects a template-aware error into an intermediate step, recomputes subsequent steps under the corrupted state, and verifies that the injected step is not derivable from its prefix. The resulting paired trajectories are prefix-invalid at the first error while remaining trajectory-consistent after symbolic recomputation, and are translated into aligned natural-language processes for PRM training and evaluation. Experiments show that the synthesized data improve Best-of-8 reranking on logical reasoning benchmarks and transfer to mathematical reasoning. Step-level evaluation further shows that first-error localization remains substantially more challenging than overall step classification, highlighting the need for fine-grained and verifiable process supervision.
• Abstract（参考訳）: プロセス報酬モデル(PRM)は、高品質なプロセス監視データに依存しているが、既存の構築手法は、エラー位置、エラータイプ、軌道の整合性に対する限定的な制御を提供することが多い。 PRMのためのプロセス監視データを合成するための制御可能で検証可能なフレームワークを提案する。 筆者らのフレームワークはまず,まず正しいシンボリック推論チェーンを構築し,テンプレート認識エラーを中間ステップに注入し,その後のステップを劣化状態下で再計算し,インジェクトされたステップがそのプレフィックスから導出できないことを確認する。 得られたペアの軌跡は、記号的再計算後のトラジェクトリ一貫性を保ちながら、最初のエラー時にプレフィックス非有意であり、PRMトレーニングと評価のために整列した自然言語プロセスに変換される。 実験により、合成されたデータは、論理的推論ベンチマークと数理的推論への変換に基づいて、最高の8倍の精度を向上することが示された。 ステップレベルの評価はさらに、第1エラーのローカライゼーションが全体のステップ分類よりもかなり困難であることを示し、きめ細かいプロセス監視の必要性を強調している。

関連論文リスト

• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking [54.43083499412643]
  言語モデルの生成能力をプロセス検証器と組み合わせたテストタイムアルゴリズムは、新しい推論能力を引き出すための有望なレバーを提供する。 提案手法は, 理論的に根拠付きバックトラックを用いて, 検証誤差に対して, 確実な堅牢性を実現するための新しいプロセス誘導型テスト時間サンプリングアルゴリズムであるVGBを導入する。
  論文  参考訳（メタデータ） (2025-10-03T16:21:14Z)
• RationAnomaly: Log Anomaly Detection with Rationality via Chain-of-Thought and Reinforcement Learning [27.235259453535537]
  RationAnomalyは、Chain-of-Thoughtファインチューニングと強化学習を相乗化することにより、ログの異常検出を強化する新しいフレームワークである。 コードとデータセットを含む、対応するリソースをリリースしました。
  論文  参考訳（メタデータ） (2025-09-18T07:35:58Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning [20.686094849756937]
  プロセス・リワード・モデル (Process Reward Model, PRM) は数学的推論において重要な役割を担い、高品質なプロセスデータを必要とする。 我々は,Large Language Models (LLM) が生成する推論ステップが,厳密なインクリメンタルな情報表示に失敗することが多く,冗長性が生じることを観察する。 本稿では,冗長なステップを検出するための簡易かつ効果的な粗大な戦略CFPRMを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:44:45Z)
• CoCoMoT: Conformance Checking of Multi-Perspective Processes via SMT (Extended Version) [62.96267257163426]
  我々はCoCoMoT(Computing Conformance Modulo Theories)フレームワークを紹介する。 まず、純粋な制御フロー設定で研究したSATベースのエンコーディングを、データ認識ケースに持ち上げる方法を示す。 次に,プロパティ保存型クラスタリングの概念に基づく新しい前処理手法を提案する。
  論文  参考訳（メタデータ） (2021-03-18T20:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。