論文の概要: ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2601.21912v1
• Date: Thu, 29 Jan 2026 16:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.97154
• Title: ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation
• Title（参考訳）: ProRAG:Retrieval-Augmented Generationのためのプロセススーパービジョン強化学習
• Authors: Zhao Wang, Ziliang Zhao, Zhicheng Dou,
• Abstract要約: ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
• 参考スコア（独自算出の注目度）: 54.071574153853994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a promising paradigm for optimizing Retrieval-Augmented Generation (RAG) in complex reasoning tasks. However, traditional outcome-based RL approaches often suffer from reward sparsity and inefficient credit assignment, as coarse-grained scalar rewards fail to identify specific erroneous steps within long-horizon trajectories. This ambiguity frequently leads to "process hallucinations", where models reach correct answers through flawed logic or redundant retrieval steps. Although recent process-aware approaches attempt to mitigate this via static preference learning or heuristic reward shaping, they often lack the on-policy exploration capabilities required to decouple step-level credit from global outcomes. To address these challenges, we propose ProRAG, a process-supervised reinforcement learning framework designed to integrate learned step-level supervision into the online optimization loop. Our framework consists of four stages: (1) Supervised Policy Warmup to initialize the model with a structured reasoning format; (2) construction of an MCTS-based Process Reward Model (PRM) to quantify intermediate reasoning quality; (3) PRM-Guided Reasoning Refinement to align the policy with fine-grained process preferences; and (4) Process-Supervised Reinforcement Learning with a dual-granularity advantage mechanism. By aggregating step-level process rewards with global outcome signals, ProRAG provides precise feedback for every action. Extensive experiments on five multi-hop reasoning benchmarks demonstrate that ProRAG achieves superior overall performance compared to strong outcome-based and process-aware RL baselines, particularly on complex long-horizon tasks, validating the effectiveness of fine-grained process supervision. The code and model are available at https://github.com/lilinwz/ProRAG.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, RAG(Retrieval-Augmented Generation)を最適化するための有望なパラダイムとなっている。 しかしながら、従来の結果に基づくRLアプローチは、粗い粒度のスカラー報酬が長い水平軌道内の特定の誤ったステップを特定することに失敗するため、報酬の幅と非効率なクレジット割り当てに悩まされることが多い。 この曖昧さはしばしば「プロセス幻覚」につながり、モデルが欠陥のある論理や冗長な検索ステップを通じて正しい答えに達する。 最近のプロセス認識アプローチでは、静的な選好学習やヒューリスティックな報酬形成を通じてこれを緩和しようとするが、ステップレベルの信用をグローバルな成果から切り離すために必要な、政治上の探究能力は欠如していることが多い。 これらの課題に対処するために、オンライン最適化ループに学習段階の監視を統合するために設計されたプロセス教師付き強化学習フレームワークであるProRAGを提案する。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。 ステップレベルのプロセス報酬をグローバルな結果信号に集約することで、ProRAGはすべてのアクションに対して正確なフィードバックを提供する。 5つのマルチホップ推論ベンチマークにおいて、ProRAGは、特に複雑な長距離タスクにおいて、強力な結果ベースとプロセス対応のRLベースラインと比較して、全体的なパフォーマンスを向上し、きめ細かいプロセス監視の有効性を検証している。 コードとモデルはhttps://github.com/lilinwz/ProRAG.comで公開されている。

関連論文リスト

• Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
  本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。 オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。 我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2026-01-06T09:28:53Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Hybrid Reward Normalization for Process-supervised Non-verifiable Agentic Tasks [12.31210445905605]
  ステップレベルの評価と結果の検証を統一するRLアプローチである原則プロセス・リワード(PPR)を導入する。 PPRは幅広いベンチマークで最先端のパフォーマンスを実現し、その顕著な堅牢性と一般化を実証している。
  論文  参考訳（メタデータ） (2025-09-29T23:44:55Z)
• StepORLM: A Self-Evolving Framework With Generative Process Supervision For Operations Research Language Models [18.500046072165254]
  我々は、生成過程を監督する新しい自己進化フレームワークであるStepORLMを紹介する。 StepORLMの中核となるのは、ポリシーモデルと生成プロセス報酬モデル(GenPRM)が相互に反復的に改善される、共進化ループである。
  論文  参考訳（メタデータ） (2025-09-26T16:39:10Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)
• Process vs. Outcome Reward: Which is Better for Agentic RAG Reinforcement Learning [45.10424242207931]
  Retrieval-augmented Generation (RAG)は大規模言語モデル(LLM)のテキスト生成能力を向上する RAG-ProGuideは,クエリ生成,エビデンス抽出,回答生成のためのプロセスレベルの報酬を提供する高品質なデータセットである。 プロセスレベルのポリシー最適化により、提案フレームワークはLLMに対して、検索を自律的に実行し、クエリを生成し、関連する証拠を抽出し、最終的な回答を生成する権限を与える。
  論文  参考訳（メタデータ） (2025-05-20T08:21:00Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。