論文の概要: MetaRAG: Belief-Action Aligned Policy Optimization for Agentic RAG

• arxiv url: http://arxiv.org/abs/2608.24214v1
• Date: Tue, 25 Aug 2026 08:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.867896
• Title: MetaRAG: Belief-Action Aligned Policy Optimization for Agentic RAG
• Title（参考訳）: MetaRAG: エージェントRAGのための信頼行動アライメントポリシー最適化
• Abstract要約: エージェント検索拡張生成(RAG)では、言語モデルに対して、いつ検索を継続するか、いつ回答するかを判断する必要がある。 既存のRLベースの手法は外部の監督に依存しており、現在の証拠が十分であるかどうかについてのエージェントの内部の信念を見落としている。 本稿では,エージェントRAGのための信頼行動ポリシー最適化フレームワークであるMetaRAGを提案する。
• 参考スコア（独自算出の注目度）: 20.308039818816777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic retrieval-augmented generation (RAG) requires language models to decide when to continue searching and when to answer. Existing RL-based methods rely on external supervision and overlook the agent's internal belief about whether the current evidence is sufficient. To address this problem, we reformulate the search decision quality as belief-action alignment and propose MetaRAG, a belief-action aligned policy optimization framework for agentic RAG. MetaRAG uses Verify-first Action Generation to elicit an explicit verification process before each actual action, and Internal Belief Probing to estimate the policy model's own answerability belief from the same question-history context. Based on these, MetaRAG derives a consistency reward that is further gated by answer correctness, avoiding reinforcement of internally consistent but incorrect trajectories. The belief probe is used only during training and introduces no inference-time overhead. Experiments on seven public QA benchmarks show that MetaRAG consistently improves the accuracy-efficiency trade-off over strong RL-based agentic RAG baselines, with gains that transfer to deep research settings, different optimizers, and multiple model backbones.
• Abstract（参考訳）: エージェント検索拡張生成(RAG)では、言語モデルに対して、いつ検索を継続するか、いつ回答するかを判断する必要がある。 既存のRLベースの手法は外部の監督に依存しており、現在の証拠が十分であるかどうかについてのエージェントの内部の信念を見落としている。 この問題に対処するため,我々は,探索決定の質を信念-行動アライメントとして再構築し,エージェントRAGのための信念-行動アライメントされたポリシー最適化フレームワークであるMetaRAGを提案する。 MetaRAGは、検証ファーストアクション生成(Verify-first Action Generation)を使用して、実際のアクション毎に明示的な検証プロセスを導き、内部的信念は、ポリシーモデル自身の回答可能性の信念を、同じ質問履歴のコンテキストから推定する。 これらに基づき、MetaRAGは、内部的に一貫性があるが誤った軌道の強化を避けるために、回答の正しさによってさらに解放される一貫性の報酬を導出する。 信念プローブはトレーニング時にのみ使用され、推論時のオーバーヘッドは発生しない。 7つの公開QAベンチマークの実験では、MetaRAGは強力なRLベースのエージェントRAGベースラインに対する精度と効率のトレードオフを一貫して改善し、深い研究環境、異なるオプティマイザ、複数のモデルバックボーンに移行した。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models [29.703793991791674]
  既存のRAG指向強化学習法は、文書の忠実さを評価するのにしばしば失敗する外部報酬に依存している。 コントラッシブ・ライリフッド・リワード(CLR)を中心とした新たな「内外的」ハイブリッド報酬枠組を提案する。 CLRは、エビデンスをサポートしないプロンプトで条件付けられたレスポンス間のログライクなギャップを直接最適化する。
  論文  参考訳（メタデータ） (2026-02-02T12:21:59Z)
• FAIR-RAG: Faithful Adaptive Iterative Refinement for Retrieval-Augmented Generation [0.0]
  本稿では、標準的なRAGパイプラインを動的にエビデンス駆動の推論プロセスに変換する新しいエージェントフレームワークであるFAIR-RAGを紹介する。 本稿では,HotpotQA,2WikiMultiHopQA,MusiQueなどのマルチホップQAベンチマーク実験を行う。 我々の研究は、高度なRAGシステムにおける信頼性と正確な推論を解き明かすためには、明確なギャップ分析による構造化されたエビデンス駆動の洗練プロセスが不可欠であることを示す。
  論文  参考訳（メタデータ） (2025-10-25T15:59:33Z)
• Enhancing Retrieval Augmentation via Adversarial Collaboration [50.117273835877334]
  我々は「検索幻覚」に対処するため、Adrial Collaboration RAG(AC-RAG)フレームワークを提案する。 AC-RAGは、知識ギャップを識別するジェネリスト検出器と、正確な解決策を提供するドメイン特化リゾルバという2つの異種エージェントを使用している。 実験により、AC-RAGは検索精度を大幅に向上し、様々な垂直領域における最先端RAG法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-09-18T08:54:20Z)
• SIRAG: Towards Stable and Interpretable RAG with A Process-Supervised Multi-Agent Framework [7.37561751991963]
  本稿では,レシーバとジェネレータのギャップを埋めるプロセス管理型マルチエージェントフレームワークを提案する。 提案するフレームワークはモジュール式でプラグアンドプレイで、レトリバーやジェネレータを変更する必要はない。
  論文  参考訳（メタデータ） (2025-09-17T09:09:28Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• RAG-Gym: Systematic Optimization of Language Agents for Retrieval-Augmented Generation [43.50113345998687]
  本稿では,(1)プロンプトエンジニアリング,(2)アクターチューニング,(3)批判的トレーニングという,3つの最適化次元を探求する総合的なプラットフォームであるRAG-Gymを紹介する。 本稿では,リフレクション推論を取り入れた新しいエージェントであるRe$2$Searchを提案する。 アクターチューニングにおいて,プロセスの監督をきめ細かい3つの人気のあるポストトレーニングアルゴリズムを評価し,直接選好最適化を最も効果的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T18:56:03Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。