論文の概要: RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2512.09487v1
- Date: Wed, 10 Dec 2025 10:05:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-11 15:14:53.475925
- Title: RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning
- Title(参考訳): RouteRAG:強化学習によるテキストとグラフからの効率的な検索拡張生成
- Authors: Yucan Guo, Miao Su, Saiping Guan, Zihao Sun, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng,
- Abstract要約: Retrieval-Augmented Generation (RAG)は、非パラメトリック知識をLarge Language Models (LLM)に統合する
強化学習(RL)による多ターン推論へのテキストベースRAGの進歩
LLMがマルチターンおよび適応的なグラフテキストハイブリッドRAGを実現するためのRLベースのフレームワークであるモデルを導入する。
- 参考スコア(独自算出の注目度): 69.87510139069218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) integrates non-parametric knowledge into Large Language Models (LLMs), typically from unstructured texts and structured graphs. While recent progress has advanced text-based RAG to multi-turn reasoning through Reinforcement Learning (RL), extending these advances to hybrid retrieval introduces additional challenges. Existing graph-based or hybrid systems typically depend on fixed or handcrafted retrieval pipelines, lacking the ability to integrate supplementary evidence as reasoning unfolds. Besides, while graph evidence provides relational structures crucial for multi-hop reasoning, it is substantially more expensive to retrieve. To address these limitations, we introduce \model{}, an RL-based framework that enables LLMs to perform multi-turn and adaptive graph-text hybrid RAG. \model{} jointly optimizes the entire generation process via RL, allowing the model to learn when to reason, what to retrieve from either texts or graphs, and when to produce final answers, all within a unified generation policy. To guide this learning process, we design a two-stage training framework that accounts for both task outcome and retrieval efficiency, enabling the model to exploit hybrid evidence while avoiding unnecessary retrieval overhead. Experimental results across five question answering benchmarks demonstrate that \model{} significantly outperforms existing RAG baselines, highlighting the benefits of end-to-end RL in supporting adaptive and efficient retrieval for complex reasoning.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は非パラメトリック知識を大規模言語モデル (LLM) に統合する。
近年のテキストベースのRAGは強化学習(RL)による多ターン推論に進歩しているが、これらの進歩をハイブリッド検索に拡張することは、さらなる課題をもたらす。
既存のグラフベースのハイブリッドシステムは通常、固定または手作りの検索パイプラインに依存しており、補足的な証拠を統合する能力が欠如している。
さらに、グラフエビデンスは、マルチホップ推論に不可欠な関係構造を提供するが、取り出すのは非常に高価である。
これらの制約に対処するために、LLMがマルチターンおよび適応的なグラフテキストハイブリッドRAGを実行することを可能にするRLベースのフレームワークである \model{} を導入する。
モデル{}は、RLを介して生成プロセス全体を共同で最適化し、モデルが推論のタイミング、テキストまたはグラフから何を取得するか、最終的な回答を生成するタイミングを、全て統一された生成ポリシー内で学習できるようにする。
この学習プロセスを導くために,タスク結果と検索効率の両方を考慮に入れた2段階のトレーニングフレームワークを設計し,不要な検索オーバーヘッドを回避しながらハイブリッドエビデンスを活用できるようにする。
5つの質問応答ベンチマークによる実験結果から, \model{} は既存のRAGベースラインを著しく上回り, 複雑な推論に対する適応的かつ効率的な検索を支援するために, エンドツーエンド RL の利点を浮き彫りにしている。
関連論文リスト
- GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳(メタデータ) (2025-09-20T02:38:00Z) - GraphRAG-R1: Graph Retrieval-Augmented Generation with Process-Constrained Reinforcement Learning [33.57411612551111]
プロセス制約付き結果ベース強化学習(RL)を用いたLLMの学習による適応型GraphRAGフレームワークGraphRAG-R1を提案する。
本手法は,複雑な問題を分解し,検索ツールを自律的に実行し,効果的な推論を行う。
我々のフレームワークは、様々な既存の検索手法と柔軟に統合でき、継続的に性能改善を提供することができる。
論文 参考訳(メタデータ) (2025-07-31T14:11:16Z) - ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。
我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
論文 参考訳(メタデータ) (2025-06-02T21:38:21Z) - RGL: A Graph-Centric, Modular Framework for Efficient Retrieval-Augmented Generation on Graphs [58.10503898336799]
完全なRAGパイプラインをシームレスに統合するモジュラーフレームワークであるRAG-on-Graphs Library(RGL)を紹介した。
RGLは、さまざまなグラフフォーマットをサポートし、必須コンポーネントの最適化実装を統合することで、重要な課題に対処する。
評価の結果,RGLはプロトタイピングプロセスの高速化だけでなく,グラフベースRAGシステムの性能や適用性の向上も図っている。
論文 参考訳(メタデータ) (2025-03-25T03:21:48Z) - RAG-RL: Advancing Retrieval-Augmented Generation via RL and Curriculum Learning [24.648819770922515]
本稿では,回答生成モデルであるRAG-RLを紹介する。
私たちのアプローチはカリキュラム学習を使用し、モデルがまず、関連するコンテキストのみを含む簡単な例に基づいて訓練される。
実験により,これらのトレーニングサンプルにより,より優れたサンプル効率と一般化性を有する引用・推論能力が得られることが示された。
論文 参考訳(メタデータ) (2025-03-17T02:53:42Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳(メタデータ) (2024-03-31T08:58:54Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。