論文の概要: RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing
- arxiv url: http://arxiv.org/abs/2602.00296v1
- Date: Fri, 30 Jan 2026 20:38:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-02-03 13:37:19.616434
- Title: RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing
- Title(参考訳): RAGRouter-Bench: 適応的なRAGルーティングのためのデータセットとベンチマーク
- Authors: Ziqi Wang, Xi Zhu, Shuhang Lin, Haochen Xue, Minghao Guo, Yongfeng Zhang,
- Abstract要約: 適応型RAGルーティング用に設計された最初のデータセットとベンチマークであるRAG-Benchを紹介する。
RAG-Benchは、クエリコーパスの互換性の観点から検索を再考し、5つの代表的なRAGパラダイムを体系的評価のために標準化する。
DeepSeek-V3 と LLaMA-3.1-8B による実験は、単一のRAGパラダイムが普遍的に最適であることを示した。
- 参考スコア(独自算出の注目度): 37.7721677767453
- License:
- Abstract: Retrieval-Augmented Generation (RAG) has become a core paradigm for grounding large language models with external knowledge. Despite extensive efforts exploring diverse retrieval strategies, existing studies predominantly focus on query-side complexity or isolated method improvements, lacking a systematic understanding of how RAG paradigms behave across different query-corpus contexts and effectiveness-efficiency trade-offs. In this work, we introduce RAGRouter-Bench, the first dataset and benchmark designed for adaptive RAG routing. RAGRouter-Bench revisits retrieval from a query-corpus compatibility perspective and standardizes five representative RAG paradigms for systematic evaluation across 7,727 queries and 21,460 documents spanning diverse domains. The benchmark incorporates three canonical query types together with fine-grained semantic and structural corpus metrics, as well as a unified evaluation for both generation quality and resource consumption. Experiments with DeepSeek-V3 and LLaMA-3.1-8B demonstrate that no single RAG paradigm is universally optimal, that paradigm applicability is strongly shaped by query-corpus interactions, and that increased advanced mechanism does not necessarily yield better effectiveness-efficiency trade-offs. These findings underscore the necessity of routing-aware evaluation and establish a foundation for adaptive, interpretable, and generalizable next-generation RAG systems.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は、外部知識を持つ大規模言語モデルを構築するためのコアパラダイムとなっている。
多様な検索戦略を探究する広範な努力にもかかわらず、既存の研究は主にクエリサイドの複雑さや分離されたメソッドの改善に焦点を当てており、RAGパラダイムが様々なクエリコーパスのコンテキストでどのように振る舞うか、有効性と効率のトレードオフを体系的に理解していない。
本研究ではRAGRouter-Benchを適応的なRAGルーティング用に設計した最初のデータセットとベンチマークとして紹介する。
RAGRouter-Benchは、クエリコーパスの互換性の観点から検索を再検討し、7,727のクエリと21,460のドキュメントにわたる体系的な評価のための5つの代表的なRAGパラダイムを標準化する。
このベンチマークには3つの標準クエリタイプと詳細なセマンティックおよび構造コーパスメトリクス、および生成品質とリソース消費の両面での統一的な評価が組み込まれている。
DeepSeek-V3とLLaMA-3.1-8Bによる実験は、単一のRAGパラダイムが普遍的に最適ではないこと、パラダイム適用性はクエリーコーパスの相互作用によって強く形成されていること、高度なメカニズムの増大が必ずしも有効性と効率のトレードオフをもたらすとは限らないことを証明している。
これらの知見は,経路認識評価の必要性を浮き彫りにして,適応的,解釈可能,一般化可能な次世代RAGシステムの基礎を築いた。
関連論文リスト
- Is Agentic RAG worth it? An experimental comparison of RAG approaches [0.07777489763207261]
検索・拡張生成システムは通常、ジェネレータと検索コンポーネントの組み合わせで定義される。
これらの欠点は「強化されたRAG」の開発を動機づけている。
大規模言語モデルの自己回帰能力の増大により,新たなパラダイムが実現した。
論文 参考訳(メタデータ) (2026-01-12T16:43:44Z) - RAG-Stack: Co-Optimizing RAG Quality and Performance From the Vector Database Perspective [3.385836913732549]
Retrieval-augmented Generation (RAG) は、ベクトルデータベースの最も顕著な応用の1つである。
RAGシステムにおける品質-性能共最適化のための3ピラーブループリントであるRAG-Stackを提案する。
論文 参考訳(メタデータ) (2025-10-23T07:35:19Z) - Domain-Specific Data Generation Framework for RAG Adaptation [58.20906914537952]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルの言語理解と推論能力と外部検索を組み合わせ、ドメイン基底応答を可能にする。
本稿では,様々なRAG適応手法に合わせて,ドメイン基底型質問応答コンテキスト(QAC)トリプルを生成するフレームワークであるRAGenを提案する。
論文 参考訳(メタデータ) (2025-10-13T09:59:49Z) - HawkBench: Investigating Resilience of RAG Methods on Stratified Information-Seeking Tasks [102.72071523999169]
HawkBenchは、RAGのパフォーマンスを厳格に評価するために設計された、人間ラベル付きマルチドメインベンチマークである。
情報探索行動に基づくタスクの階層化により、HawkBenchはRAGシステムが多様なユーザニーズにどのように適応するかを体系的に評価する。
論文 参考訳(メタデータ) (2025-02-19T06:33:39Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳(メタデータ) (2024-12-16T19:11:55Z) - Understanding the Design Decisions of Retrieval-Augmented Generation Systems [7.10184268156888]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)能力を向上するための重要な技術として登場した。
本稿では,3つの共通RAG展開決定に関する総合的研究について紹介する。
論文 参考訳(メタデータ) (2024-11-29T04:25:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。