論文の概要: Search-P1: Path-Centric Reward Shaping for Stable and Efficient Agentic RAG Training

• arxiv url: http://arxiv.org/abs/2602.22576v1
• Date: Thu, 26 Feb 2026 03:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.508333
• Title: Search-P1: Path-Centric Reward Shaping for Stable and Efficient Agentic RAG Training
• Title（参考訳）: Search-P1:安定かつ効率的なエージェントRAGトレーニングのためのパス中心リワード整形
• Authors: Tianle Xia, Ming Xu, Lingxiang Hu, Yiding Sun, Wenwei Li, Linfang Shang, Liqun Liu, Peng Shu, Huan Yu, Jie Jiang,
• Abstract要約: Agentic RAGは、外部知識を取り入れることで、大きな言語モデルを強化する。 現在のRLベースのトレーニング手法は、中間信号を捨てるスパース結果報酬に悩まされている。 本稿では,エージェントRAGトレーニングにパス中心の報酬形成を導入するフレームワークであるSearch-P1を提案する。
• 参考スコア（独自算出の注目度）: 11.136092421166097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) enhances large language models (LLMs) by incorporating external knowledge, yet traditional single-round retrieval struggles with complex multi-step reasoning. Agentic RAG addresses this by enabling LLMs to dynamically decide when and what to retrieve, but current RL-based training methods suffer from sparse outcome rewards that discard intermediate signals and low sample efficiency where failed samples contribute nothing. We propose Search-P1, a framework that introduces path-centric reward shaping for agentic RAG training, comprising two key components: (1) Path-Centric Reward, which evaluates the structural quality of reasoning trajectories through order-agnostic step coverage and soft scoring that extracts learning signals even from failed samples, and (2) Dual-Track Path Scoring with offline-generated reference planners that assesses paths from both self-consistency and reference-alignment perspectives. Experiments on multiple QA benchmarks demonstrate that Search-P1 achieves significant improvements over Search-R1 and other strong baselines, with an average accuracy gain of 7.7 points.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 エージェントRAGは、LLMがいつ、何を取得するかを動的に決定できるようにすることでこの問題に対処するが、現在のRLベースのトレーニング手法では、中間信号を捨て、失敗したサンプルが何も貢献しない場合のサンプル効率が低い結果報酬に悩まされている。 エージェントRAGトレーニングにパス中心の報酬形成を導入するフレームワークであるSearch-P1を提案する。(1)順序に依存しないステップカバレッジと、失敗したサンプルから学習信号を抽出するソフトスコアリングにより、推論軌跡の構造的品質を評価するPath-Centric Rewardと、(2)自己整合性と参照整合性の両方の観点から経路を評価するオフライン生成参照プランナーを併用したDual-Track Path Scoringである。 複数のQAベンチマークの実験では、検索-P1は検索-R1や他の強力なベースラインよりも大幅に改善され、平均精度は7.7ポイント向上した。

関連論文リスト

• Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking [40.652380579951206]
  In-Context Re- rank (ICR) は、最近$O(1)$代替メソッドとして提案されている。 ICRは内部の注意信号を直接抽出し、テキスト生成のオーバーヘッドを回避する。 統一的な研究は、内部の注意を従来の生成的および可能性に基づくメカニズムと比較していない。
  論文  参考訳（メタデータ） (2026-02-26T03:51:31Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
  Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。 エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。 1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。 本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-12-08T11:59:25Z)
• From Sufficiency to Reflection: Reinforcement-Guided Thinking Quality in Retrieval-Augmented Reasoning for LLMs [13.410543801811992]
  本稿では既存のRAG推論モデルを分析し,3つの障害パターンを同定する。 本稿では,思考検索と多次元報酬システムを用いた新しいフレームワークTIRESRAG-R1を提案する。 4つのマルチホップQAデータセットの実験により、TIRESRAG-R1はRAG法よりも優れており、シングルホップタスクに適していることが示された。
  論文  参考訳（メタデータ） (2025-07-30T14:29:44Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。