論文の概要: Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning

• arxiv url: http://arxiv.org/abs/2505.22095v1
• Date: Wed, 28 May 2025 08:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.491798
• Title: Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning
• Title（参考訳）: ステップワイズ検索強化推論のための知識ベース間のクエリの経路学習
• Authors: Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Yishan Li, Yukun Yan, Shuo Wang, Zhiyuan Liu, Yu Gu, Minghe Yu, Ge Yu, Maosong Sun,
• Abstract要約: Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。 進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。 R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
• 参考スコア（独自算出の注目度）: 60.84901522792042
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal Retrieval-Augmented Generation (MRAG) has shown promise in mitigating hallucinations in Multimodal Large Language Models (MLLMs) by incorporating external knowledge during generation. Existing MRAG methods typically adopt a static retrieval pipeline that fetches relevant information from multiple Knowledge Bases (KBs), followed by a refinement step. However, these approaches overlook the reasoning and planning capabilities of MLLMs to dynamically determine how to interact with different KBs during the reasoning process. To address this limitation, we propose R1-Router, a novel MRAG framework that learns to decide when and where to retrieve knowledge based on the evolving reasoning state. Specifically, R1-Router can generate follow-up queries according to the current reasoning step, routing these intermediate queries to the most suitable KB, and integrating external knowledge into a coherent reasoning trajectory to answer the original query. Furthermore, we introduce Step-wise Group Relative Policy Optimization (Step-GRPO), a tailored reinforcement learning algorithm that assigns step-specific rewards to optimize the reasoning behavior of MLLMs. Experimental results on various open-domain QA benchmarks across multiple modalities demonstrate that R1-Router outperforms baseline models by over 7%. Further analysis shows that R1-Router can adaptively and effectively leverage diverse KBs, reducing unnecessary retrievals and improving both efficiency and accuracy.
• Abstract（参考訳）: MRAG(Multimodal Retrieval-Augmented Generation)は,Multimodal Large Language Models(MLLM)における幻覚の緩和を,生成時に外部知識を取り入れることで実現している。 既存のMRAGメソッドは、通常、複数の知識ベース(KB)から関連情報をフェッチする静的検索パイプラインを採用し、その後に改善ステップが続く。 しかし、これらのアプローチはMLLMの推論能力と計画能力を見落とし、推論プロセス中に異なるKBと対話する方法を動的に決定する。 この制限に対処するために、進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークR1-Routerを提案する。 具体的には、R1-Routerは、現在の推論ステップに従ってフォローアップクエリを生成し、これらの中間クエリを最も適切なKBにルーティングし、外部知識を一貫性のある推論軌道に統合して、元のクエリに応答することができる。 さらに、ステップワイドグループ相対ポリシー最適化(Step-GRPO)を導入し、ステップ固有報酬を割り当て、MLLMの推論動作を最適化する。 複数のモダリティにまたがる様々なオープンドメインQAベンチマークの実験結果は、R1-Routerがベースラインモデルを7%以上上回っていることを示している。 さらに分析したところ、R1-Routerは多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上できることがわかった。

関連論文リスト

• Rethinking Predictive Modeling for LLM Routing: When Simple kNN Beats Complex Learned Routers [3.090041654375235]
  我々は、k-Nearest Neighbors (kNN) アプローチが、様々なタスクにまたがる最先端の学習ルータよりも優れていることを示す。 その結果, 埋め込み空間におけるモデル性能の局所性は, 単純な非パラメトリック手法によって強いルーティング決定を実現できることがわかった。
  論文  参考訳（メタデータ） (2025-05-19T01:33:41Z)
• R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization [86.32257216965229]
  そこで本稿では,MLLMの自己改善を支援するオンライン強化学習フレームワークを提案する。 StepGRPOは、Step-wise Reasoning Accuracy Reward (StepRAR)とStep-wise Reasoning Validity Reward (StepRVR)の2つの新しいルールベースの推論報酬を導入した。 提案するStepGRPOでは,ステップバイステップ推論に優れた機能を持つMLLMのシリーズであるR1-VLを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T08:51:44Z)
• ORI: O Routing Intelligence [0.7493096930372414]
  単一大規模言語モデル(LLM)は、成長を続けるタスクの範囲に直面すると、しばしば不足する。 我々は,一組のLLMを利用する動的フレームワークであるORI(O Routing Intelligence)を提案する。 クエリをインテリジェントにルーティングすることで、ORIはMMLUで最大2.7ポイント、MuSRで1.8ポイントという最強の個別モデルを上回っている。
  論文  参考訳（メタデータ） (2025-02-14T10:00:20Z)
• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards [78.74923079748521]
  Retrieval-Augmented Generation (RAG) は、外部リソースから知識を取得することで、Large Language Models (LLM) における幻覚を緩和する効果を証明している。 現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。 本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T12:53:29Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。