論文の概要: Cost-Aware Query Routing in RAG: Empirical Analysis of Retrieval Depth Tradeoffs
- arxiv url: http://arxiv.org/abs/2606.02581v1
- Date: Thu, 26 Mar 2026 02:53:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.60307
- Title: Cost-Aware Query Routing in RAG: Empirical Analysis of Retrieval Depth Tradeoffs
- Title(参考訳): RAGにおけるコスト対応クエリルーティング:検索深さトレードオフの実証分析
- Abstract要約: 本稿では,emphCost-Aware RAG (CA-RAG)について紹介する。
CA-RAG は、常に重い検索よりも有償トークンを textbf26% 減少させ、textbf34% 平均遅延を always-direct 推論より低くする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) faces a fundamental three-way tension: deeper retrieval improves factual grounding but inflates token costs and end-to-end latency. Static retrieval configurations cannot resolve this tension across heterogeneous query workloads -- simple definitional queries waste budget on unnecessary context, while complex analytical prompts are underserved by shallow retrieval. This paper introduces \emph{Cost-Aware RAG} (CA-RAG), a per-query routing framework that selects from a discrete catalog of \emph{strategy bundles} -- each coupling a retrieval depth (from retrieval-free direct inference to top-$k{=}10$ dense retrieval) with a fixed generation profile -- by maximizing a scalar utility that linearly combines an estimated quality prior with normalized penalties for predicted latency and total billed tokens. CA-RAG is implemented with FAISS-backed dense retrieval and OpenAI chat/embedding APIs, and evaluated on a 28-query benchmark spanning four bundles. The router dynamically exercises all bundles, achieving \textbf{26\% fewer billed tokens} than always-heavy retrieval and \textbf{34\% lower mean latency} than always-direct inference while maintaining equivalent answer quality. Per-query delta analysis reveals that savings are non-uniform and concentrated in simpler queries, motivating complexity-aware guardrails. Sensitivity analysis confirms that the same bundle catalog supports multiple cost-latency-quality operating points through weight adjustment alone. All results are generated directly from logged CSV artifacts for full reproducibility. CA-RAG provides a transparent, auditable foundation for cost-conscious LLM deployments.
- Abstract(参考訳): Retrieval-augmented Generation (RAG) は基本的な3方向の緊張に直面している。
単純な定義クエリは不要なコンテキストで予算を浪費するが、複雑な分析プロンプトは浅い検索によって守られる。
本稿では,待ち行列の個別カタログから選択したクエリ単位のルーティングフレームワークである \emph{Cost-Aware RAG} (CA-RAG) について,検索深度(検索不要な直接推論からトップ$k{=}10$高密度検索まで)を固定生成プロファイルに結合する。
CA-RAGはFAISSが支援する高密度検索とOpenAIチャット/埋め込みAPIで実装されており、4つのバンドルにまたがる28クエリのベンチマークで評価されている。
ルータはすべてのバンドルを動的に実行し、常に重い検索よりも‘textbf{26\%少なめの請求トークン’と、同等の回答品質を維持しながら、常に直接の推論よりも‘textbf{34\%低平均レイテンシ’を達成する。
クエリごとのデルタ分析では、保存は非一様であり、より単純なクエリに集中しており、複雑さを意識したガードレールを動機付けている。
感度解析により、同じバンドルカタログが重量調整のみで複数のコストレイテンシ品質の動作点をサポートすることを確認した。
すべての結果は、完全な再現性のためにログ化されたCSV成果物から直接生成される。
CA-RAGは、コストを意識したLCMデプロイメントのための透過的で監査可能な基盤を提供する。
関連論文リスト
- Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems [7.440012812118169]
RAGシステムは通常、固定数の文書を基底生成に検索する。
単純なクエリは過剰検索(ノイズとコストを追加する)に悩まされ、複雑なクエリは未検索である。
本稿では,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-11T19:57:12Z) - LiteRAG: Cost-Efficient Graph-Based Retrieval-Augmented Generation [1.0674604700001966]
LiteRAGは、高価な検索時間LLM制御をクエリ条件のアルゴリズム探索と推論チェーンのコンテキスト構築に置き換えるグラフベースの検索手法である。
OnCompは、分散システム論文に対するマルチホップ検索のベンチマークであり、LiteRAGは全体的な品質が最も高い。
LiteRAGのクエリ適応しきい値とコミュニティ対応ハブペナライゼーションは、トークン効率の向上の主要な要因である。
論文 参考訳(メタデータ) (2026-09-09T14:32:07Z) - ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services [11.399162464271692]
多段階検索強化世代 (RAG) は, 複雑な質問応答のための LLM 対応 Web サービスとして広く利用されている。
RAGは、履歴文書と推論トレースをラウンド全体で蓄積し、累積的な入力トークンを膨らませる。
本稿では,クロスラウンド・コンテキスト・トランスミッションを再構成するトレーニング不要な状態層プロトコルであるConCiseを提案する。
論文 参考訳(メタデータ) (2026-06-13T08:10:53Z) - Agent-Orchestrated Adaptive RAG: A Comparative Study on Structured and Multi-Hop Retrieval [0.0]
Retrieval-Augmented Generation (RAG) は、言語モデル(LLM)を拡張し、その応答を外部知識に基盤付ける。
本稿では,動的クエリ分解,反復検索,および有界自己回帰評価ループを導入したエージェントオーケストレーション適応型RAGフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-04T03:38:46Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳(メタデータ) (2026-05-14T18:30:10Z) - PRISM: Pareto-Efficient Retrieval over Intent-Aware Structured Memory for Long-Horizon Agents [9.504077408241544]
ロングホライゾン言語エージェントは、どの固定されたコンテキストウィンドウよりもはるかに早く会話履歴を蓄積する。
PRISMは、長期記憶を共同検索・圧縮問題として扱う訓練不要な検索サイドフレームワークである。
論文 参考訳(メタデータ) (2026-05-12T15:28:30Z) - Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection [57.3886742625188]
Pre-Routeは、応答前に構造化推論を実行するプロアクティブなルーティングフレームワークである。
本研究は, (i) LLMは, ガイドラインを確実に適用可能な遅延ルーティング能力を有すること, (ii) 線形プローブにより, 表現空間における最適ルーティングの分離性を高めること, (iii) 蒸留により, この推論構造を, 軽量展開のためのより小さなモデルに伝達すること,の3つの重要な知見を示す。
論文 参考訳(メタデータ) (2026-05-11T09:10:55Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳(メタデータ) (2026-03-30T23:52:54Z) - Rerank Before You Reason: Analyzing Reranking Tradeoffs through Effective Token Cost in Deep Search Agents [50.212640395029744]
深層探索パイプラインにおける推論予算の配分について検討する。
BrowseComp-Plusベンチマークを用いて、モデルスケール、推論の労力、深度の再検討、トークン総コストのトレードオフを分析する。
論文 参考訳(メタデータ) (2026-01-20T18:38:35Z) - RaCoT: Plug-and-Play Contrastive Example Generation Mechanism for Enhanced LLM Reasoning Reliability [12.67288560758937]
本稿では,RaCoT(Retrieval-aware Contrastive-of-Thought)を提案する。
RaCoTは、解答の発散を決定する重要な詳細に積極的に焦点を合わせるようモデルに誘導する。
論文 参考訳(メタデータ) (2025-10-26T15:06:44Z) - Evaluating Retrieval-Augmented Generation Systems on Unanswerable, Uncheatable, Realistic, Multi-hop Queries [53.99620546358492]
実世界のユースケースでは、複雑なクエリを持つRAGシステムが存在し、関連する情報がコーパスから欠落したり、不完全であったりすることが多い。
既存のRAGベンチマークは、マルチホップやスコープ外の質問に対して、現実的なタスクの複雑さを反映することはめったにない。
un$underlinec$heatable, $underliner$ealistic, $underlineu$nanswerable, $underlinem$ulti-hopの自動生成のための最初のパイプラインを提示する。
論文 参考訳(メタデータ) (2025-10-13T21:38:04Z) - DyKnow-RAG: Dynamic Knowledge Utilization Reinforcement Framework for Noisy Retrieval-Augmented Generation in E-commerce Search Relevance [7.605150700675235]
DyKnow-RAGは、グループ相対ポリシー最適化に基づいて構築された動的ノイズ-RAGフレームワークである。
2つのロールアウトグループ(外部コンテキストと単一の取得チャンク)をトレーニングし、後続駆動によるグループ間アドバンテージスケーリングを適用する。
タオバオの生産関連システムに配備され、生の交通に供されている。
論文 参考訳(メタデータ) (2025-10-13T08:08:59Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳(メタデータ) (2025-09-30T22:19:44Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳(メタデータ) (2025-08-17T20:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。