論文の概要: PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2609.01658v1
• Date: Mon, 31 Aug 2026 14:34:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.64469
• Title: PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation
• Title（参考訳）: Pro-Step:Retrieval-Augmented Generationのためのステップレベルプロセスリワード最適化
• Abstract要約: Pro-STEPを導入し、各ステップにおける論理的妥当性と明らかな根拠を評価する生成的PRMを訓練する。 シングルホップとマルチホップのQAデータセットの実験では、PRO-STEPが5つのベンチマークで最高の平均EMとF1を達成することが示された。
• 参考スコア（独自算出の注目度）: 2.198430261120653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation enhances Large Language Models by grounding responses in external knowledge, but multi-hop reasoning remains vulnerable to error propagation, where early retrieval failures confound subsequent steps. Standard outcome-based optimization only rewards the final answer, leaving intermediate retrieval and reasoning errors undetected. While existing process-based methods introduce step-level signals, they still score each step against the final answer, rewarding spurious successes where flawed retrieval coincidentally produces the correct answer. Step-level supervision in RAG requires evaluating both logical validity and evidential grounding at each step. We introduce PRO-STEP: we train a generative PRM that evaluates both dimensions, employ PRM-guided value tree search to construct preference pairs contrasting valid steps against flawed ones, and optimize the policy via step-level Direct Preference Optimization. Experiments on single and multi-hop QA datasets demonstrate that PRO-STEP achieves the best average EM and F1 across five benchmarks. Code, models, and training data are publicly available at https://github.com/keemminnke/PRO-Step.
• Abstract（参考訳）: Retrieval-Augmented Generationは、外部知識の応答を基盤として、大規模言語モデルを強化するが、マルチホップ推論は、初期の検索失敗がその後のステップと相反するエラー伝播に弱いままである。 標準結果に基づく最適化は最終回答にのみ報酬を与えるが、中間的な検索と推論エラーは検出されない。 既存のプロセスベースの手法では、ステップレベルの信号を導入するが、最終的な回答に対して各ステップをスコア付けし、欠陥のある検索が偶然に正しい回答を生成するような急激な成功に報いる。 RAGにおけるステップレベルの監督には、各ステップにおける論理的妥当性と明確な根拠の両方を評価する必要がある。 Pro-STEPを導入し、両次元を評価し、PRM誘導値木探索を用いて、欠陥に対して有効なステップと対照的な選好ペアを構築し、ステップレベルの直接選好最適化によってポリシーを最適化する。 シングルホップとマルチホップのQAデータセットの実験では、PRO-STEPが5つのベンチマークで最高の平均EMとF1を達成することが示された。 コード、モデル、トレーニングデータはhttps://github.com/keemminnke/PRO-Step.comで公開されている。

関連論文リスト

• PARM: Pipeline-Adapted Reward Model [60.769414637325326]
  リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。 これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。 我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
  論文  参考訳（メタデータ） (2026-04-20T14:29:08Z)
• P^2O: Joint Policy and Prompt Optimization [74.45293488495592]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 プロンプト最適化とポリシー最適化を相乗化する新しいフレームワークであるP2Oを提案する。
  論文  参考訳（メタデータ） (2026-03-23T12:08:47Z)
• Evaluate-as-Action: Self-Evaluated Process Rewards for Retrieval-Augmented Agents [24.080021799509847]
  textscEvalAct (Evaluate-as-Action) は暗黙的な検索品質評価を明示的なアクションに変換する。 textscEvalActは、マルチホップタスクにおいて最も高い平均精度を達成する。
  論文  参考訳（メタデータ） (2026-03-10T05:22:40Z)
• Truncated Step-Level Sampling with Process Rewards for Retrieval-Augmented Reasoning [32.295907409325615]
  強化学習による検索エンジンの推論のための大規模言語モデルの訓練は、信用代行問題によって妨げられる。 2つの相補的なアイデアに基づいて構築されたフレームワークであるSLATEを提案する。 7つのQAベンチマークの実験では、SLATEがスパース・リワードとプロセス・リワードのベースラインを一貫して上回っていることが確認された。
  論文  参考訳（メタデータ） (2026-02-26T19:05:40Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。