論文の概要: Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems
- arxiv url: http://arxiv.org/abs/2609.13489v2
- Date: Tue, 15 Sep 2026 01:11:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.082
- Title: Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems
- Title(参考訳): RAGシステムにおける適応的トップk文書検索のための事前検索クエリクラスタリング
- Abstract要約: RAGシステムは通常、固定数の文書を基底生成に検索する。
単純なクエリは過剰検索(ノイズとコストを追加する)に悩まされ、複雑なクエリは未検索である。
本稿では,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.440012812118169
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: RAG systems commonly retrieve a fixed number of documents (top-k) to ground generation, but this static approach is brittle: simple queries suffer over-retrieval (adding noise and cost) while complex queries are under-retrieved, causing recall failures that cascade into incorrect answers. Motivated by the question of how many documents must be retrieved to answer an arbitrary query reliably, we propose a practical, general framework for query-adaptive retrieval depth. Offline, we estimate per-query retrieval difficulty by measuring NDCG under the default retriever and deriving a query-specific saturation point k* from the NDCG-k curve. Because computing these signals online is expensive, we cluster a large set of queries in embedding space and summarize each cluster with a recommended retrieval depth that targets high coverage (e.g., ~95%) using a mean-plus-variance rule. At runtime, the system assigns an incoming query to a cluster and selects the corresponding top-k in constant time. Compared with post-retrieval confidence methods that rely on clustering retrieved documents, our approach is pre-retrieval and query-centric, making it robust in heterogeneous, case-like corpora and applicable across domains such as legal, healthcare, finance, and enterprise search. Finally, this framework has been tested in full-traffic queries that improved $F_1$ by over 36% while reducing token usage by 14% on low-complexity clusters without accuracy loss.
- Abstract(参考訳): RAGシステムは一般に固定数の文書(トップ-k)をグラウンドジェネレーションに検索するが、この静的なアプローチは不安定である。
任意の問合せに確実に答えるには,どのぐらいの文書を検索しなければならないのかという疑問に答えて,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
オフラインでは、デフォルトレトリバーの下でNDCGを測定し、NDCG-k曲線からクエリ固有の飽和点k*を導出することで、クエリ毎の検索難度を推定する。
これらの信号のオンラインでの計算は高価であるため、埋め込みスペースに大量のクエリをクラスタ化し、平均超分散ルールを用いて、高いカバレッジ(例:95%)をターゲットにした推奨検索深度で各クラスタをまとめます。
実行時に、システムは受信したクエリをクラスタに割り当て、対応するトップkを一定時間で選択する。
クラスタリングされた文書に頼った検索後の信頼性手法と比較すると、我々のアプローチは検索前とクエリ中心であり、不均一でケースライクなコーパスで堅牢であり、法律、医療、財務、企業検索といった分野に適用できる。
最後に、このフレームワークはフルトラフィッククエリでテストされ、$F_1$を36%以上改善した。
関連論文リスト
- ORDER: Task-Conditioned Routing for Retrieval-Augmented Generation [3.6028767235872965]
本稿では,クエリにインデックス付けと検索を併用する問合せ条件付きRAGフレームワークを提案する。
我々は,大規模かつ異種な歴史的アーカイブの枠組みを評価し,クエリのインデックス付けと検索の条件付けが,根本的ベースラインと最先端RAGシステムの両方を一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-09-15T11:23:16Z) - Retriever Portfolios: A Principled Approach to Adaptive RAG [30.668406304237404]
そこで本研究では,対象クエリ分布の異なる領域をカバーするために,候補の大規模プールから,少数の多種多様なサブセットを自動的に選択する手法を提案する。
複数のQAベンチマークを通じて、学習したポートフォリオとルータパイプラインは、一貫してシングルリレーバとナイーブなマルチリレーバベースラインを上回っています。
論文 参考訳(メタデータ) (2026-05-29T11:43:05Z) - Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。
クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。
我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
論文 参考訳(メタデータ) (2025-10-21T13:37:11Z) - Evaluating Retrieval-Augmented Generation Systems on Unanswerable, Uncheatable, Realistic, Multi-hop Queries [53.99620546358492]
実世界のユースケースでは、複雑なクエリを持つRAGシステムが存在し、関連する情報がコーパスから欠落したり、不完全であったりすることが多い。
既存のRAGベンチマークは、マルチホップやスコープ外の質問に対して、現実的なタスクの複雑さを反映することはめったにない。
un$underlinec$heatable, $underliner$ealistic, $underlineu$nanswerable, $underlinem$ulti-hopの自動生成のための最初のパイプラインを提示する。
論文 参考訳(メタデータ) (2025-10-13T21:38:04Z) - Cluster-based Adaptive Retrieval: Dynamic Context Selection for RAG Applications [8.946586077722822]
クラスタベースのAdaptive Retrieval (CAR) は、順序付きクエリ文書類似度距離のクラスタリングパターンを分析して、最適な文書数を決定するアルゴリズムである。
CARは、常に最適な検索深度を選択し、最高TESスコアを達成し、固定されたトップkベースラインを全て上回る。
論文 参考訳(メタデータ) (2025-10-02T05:11:12Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳(メタデータ) (2025-09-30T22:19:44Z) - MODE: Mixture of Document Experts for RAG [0.532836690371986]
MODEは、よりきめ細かい近接探索をクラスタ・アンド・ルート検索に置き換える。
ドキュメントは埋め込み、セマンティック・コヒーレントなクラスタにグループ化され、キャッシュされたセントロイドで表現される。
100-500チャンクのHotpotQAとSQuADコーパスでは、MODEは解答品質において密度の高い検索基準線を超える。
論文 参考訳(メタデータ) (2025-08-27T17:45:16Z) - Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。
SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
論文 参考訳(メタデータ) (2025-07-14T08:41:53Z) - Tree-Based Text Retrieval via Hierarchical Clustering in RAGFrameworks: Application on Taiwanese Regulations [0.0]
階層的なクラスタリングに基づく検索手法を提案する。
本手法は,意味的関連コンテンツを適応的に選択しながら,システム応答の精度と関連性を維持する。
我々のフレームワークは実装が簡単で、既存のRAGパイプラインと簡単に統合できます。
論文 参考訳(メタデータ) (2025-06-16T15:34:29Z) - Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。
私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。
その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文 参考訳(メタデータ) (2024-07-01T15:53:29Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳(メタデータ) (2024-03-21T13:52:30Z) - Optimizing Test-Time Query Representations for Dense Retrieval [34.61821330771046]
TOURは、テスト時間検索の結果によってガイドされるクエリ表現を改善する。
我々は、クロスエンコーダのリランカを利用して、検索結果よりもきめ細かい擬似ラベルを提供する。
TOURは1.3-2.4倍高速で実行しながら、常に最大2.0%のダイレクトリランクを改善する。
論文 参考訳(メタデータ) (2022-05-25T11:39:42Z) - Session-Aware Query Auto-completion using Extreme Multi-label Ranking [61.753713147852125]
本稿では,セッション対応クエリ自動補完の新たな手法を,XMR(Multi Multi-Xtreme Ranking)問題として取り上げる。
アルゴリズムのキーステップにいくつかの修正を提案することにより、この目的のために一般的なXMRアルゴリズムを適応させる。
当社のアプローチは、セッション情報を活用しながら、自動補完システムの厳しいレイテンシ要件を満たします。
論文 参考訳(メタデータ) (2020-12-09T17:56:22Z) - Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。
本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。
我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
論文 参考訳(メタデータ) (2020-04-06T22:35:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。