論文の概要: PRISMA: Reinforcement Learning Guided Two-Stage Policy Optimization in Multi-Agent Architecture for Open-Domain Multi-Hop Question Answering

• arxiv url: http://arxiv.org/abs/2601.05465v1
• Date: Fri, 09 Jan 2026 01:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.807573
• Title: PRISMA: Reinforcement Learning Guided Two-Stage Policy Optimization in Multi-Agent Architecture for Open-Domain Multi-Hop Question Answering
• Title（参考訳）: PRISMA: オープンドメインマルチホップ質問応答のためのマルチエージェントアーキテクチャにおける強化学習ガイド付き2段階ポリシー最適化
• Authors: Yu Liu, Wenxiao Zhang, Cong Cao, Wenxuan Lu, Fangfang Yuan, Diandian Guo, Kun Peng, Qiang Sun, Kaiyan Zhang, Yanbing Liu, Jin B. Hong, Bowen Zhou, Zhiyuan Ma,
• Abstract要約: 大規模コーパスに対する現実世界のオープンドメイン問題への回答は、レトリーバル・拡張ジェネレーション(RAG)システムにおいて重要な課題である。 近年の研究では、検索強化推論プロセスのエンドツーエンド最適化に強化学習(RL)を採用している。 PRISMAはPlan-Retrieve-Inspect-Memoizeアーキテクチャを特徴とする分離誘導型フレームワークである。
• 参考スコア（独自算出の注目度）: 26.994531058178982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Answering real-world open-domain multi-hop questions over massive corpora is a critical challenge in Retrieval-Augmented Generation (RAG) systems. Recent research employs reinforcement learning (RL) to end-to-end optimize the retrieval-augmented reasoning process, directly enhancing its capacity to resolve complex queries. However, reliable deployment is hindered by two obstacles. 1) Retrieval Collapse: iterative retrieval over large corpora fails to locate intermediate evidence containing bridge answers without reasoning-guided planning, causing downstream reasoning to collapse. 2) Learning Instability: end-to-end trajectory training suffers from weak credit assignment across reasoning chains and poor error localization across modules, causing overfitting to benchmark-specific heuristics that limit transferability and stability. To address these problems, we propose PRISMA, a decoupled RL-guided framework featuring a Plan-Retrieve-Inspect-Solve-Memoize architecture. PRISMA's strength lies in reasoning-guided collaboration: the Inspector provides reasoning-based feedback to refine the Planner's decomposition and fine-grained retrieval, while enforcing evidence-grounded reasoning in the Solver. We optimize individual agent capabilities via Two-Stage Group Relative Policy Optimization (GRPO). Stage I calibrates the Planner and Solver as specialized experts in planning and reasoning, while Stage II utilizes Observation-Aware Residual Policy Optimization (OARPO) to enhance the Inspector's ability to verify context and trigger targeted recovery. Experiments show that PRISMA achieves state-of-the-art performance on ten benchmarks and can be deployed efficiently in real-world scenarios.
• Abstract（参考訳）: 大規模コーパスに対する実世界のオープンドメインのマルチホップ問題への答えは、レトリーバル・拡張ジェネレーション(RAG)システムにおいて重要な課題である。 近年の研究では、検索強化推論プロセスの最適化に強化学習(RL)を導入し、複雑なクエリを解決する能力を直接強化している。 しかし、信頼性の高いデプロイメントは2つの障害によって妨げられる。 1) 探索的崩壊: 大規模コーパス上の反復的検索は, 推論誘導計画を伴わずに, ブリッジ応答を含む中間的証拠の発見に失敗し, 下流の推論が崩壊する。 2) 学習不安定性(Learning Instability): エンドツーエンドの軌道訓練は、推論チェーンをまたいだ弱い信用割り当てとモジュール間のエラーローカライゼーションに悩まされ、転送可能性と安定性を制限するベンチマーク固有のヒューリスティックに過度に適合する。 PRISMAはPlan-Retrieve-Inspect-Solve-Memoizeアーキテクチャを特徴とする分離されたRL誘導フレームワークである。 インスペクターは推論に基づくフィードバックを提供し、プランナーの分解ときめ細かい検索を洗練させ、ソルバーの根拠に基づく推論を強制する。 我々は,2段階群相対政策最適化(GRPO)を用いて,個別のエージェント機能を最適化する。 ステージIはプランナーとソルバーを、計画と推論の専門の専門家として分類し、ステージIIはオブザーバ・アウェアの残留政策最適化(OARPO)を使用して、検査官がコンテキストを検証し、ターゲットとするリカバリをトリガーする能力を強化する。 実験により、PRISMAは10のベンチマークで最先端のパフォーマンスを達成し、現実世界のシナリオで効率的にデプロイできることが示されている。

関連論文リスト

• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Maestro: Learning to Collaborate via Conditional Listwise Policy Optimization for Multi-Agent LLMs [23.590034731179824]
  我々は、認知モードを構造的に分離するコラボレーションのための原則的パラダイムである、ロールオーケストレーション(Maestro)を提示する。 Maestroは多様な探索のために並列実行エージェントの集合を使用し、収束的で評価的な合成のために特別中央エージェントを使用する。 数学的推論と一般的な問題解決ベンチマークの実験により、マエストロとCLPOは、既存の最先端のマルチエージェントアプローチを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2025-11-08T21:01:27Z)
• VAR: Visual Attention Reasoning via Structured Search and Backtracking [49.427842994857635]
  構造化された検索としてグラウンドド推論をリキャストするフレームワークであるVisual Attention Reasoningを紹介する。 VARは、推論プロセスを2つの重要な段階に分解する。 我々は、我々の7BモデルであるVAR-7Bが、幻覚と安全性のベンチマークの包括的なスイートに新しい最先端を設定していることを示します。
  論文  参考訳（メタデータ） (2025-10-21T13:18:44Z)
• From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
  DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。 DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。 実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
  論文  参考訳（メタデータ） (2025-10-13T14:29:15Z)
• UR$^2$: Unify RAG and Reasoning through Reinforcement Learning [17.319590573147565]
  大規模言語モデル(LLM)は2つの相補的パラダイムを通じて顕著な能力を示してきた: 検索-拡張生成(RAG)と、検証リワード(RLVR)からの強化学習(Reinforcement Learning)である。 我々は、強化学習による検索と推論を統一する一般的なフレームワークUR2(Unified RAG and Reasoning)を提案する。 オープンドメインQA、MMLU-Pro、医学、数学的推論タスクにわたる実験は、UR$2$が既存のRAG法とRL法を大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-08T09:33:20Z)
• PrismRAG: Boosting RAG Factuality with Distractor Resilience and Strategized Reasoning [57.89188317734747]
  PrismRAGはこのモデルを、イントラクタを意識したQAペアで訓練し、金の証拠と微妙なイントラクタパスを混合する。 LLMを計画し、合理化し、人間工学的な指示に頼らずに合成する推論中心の習慣を取り入れている。
  論文  参考訳（メタデータ） (2025-07-25T00:15:31Z)
• HiRA: A Hierarchical Reasoning Framework for Decoupled Planning and Execution in Deep Search [85.12447821237045]
  HiRAは、戦略的な計画と専門的な実行を分離する階層的なフレームワークである。 提案手法では,複雑な探索タスクを集中サブタスクに分解し,各サブタスクを外部ツールと推論機能を備えたドメイン固有エージェントに割り当てる。 4つの複雑なクロスモーダルなディープ・サーチ・ベンチマークの実験により、HiRAは最先端のRAGとエージェント・ベース・システムを大きく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-07-03T14:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。