論文の概要: Your Retriever Already Knows: Distribution-Shape QPP for RAG Retrieval Sufficiency
- arxiv url: http://arxiv.org/abs/2609.11646v1
- Date: Thu, 10 Sep 2026 14:52:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.406534
- Title: Your Retriever Already Knows: Distribution-Shape QPP for RAG Retrieval Sufficiency
- Title（参考訳）: あなたのRetrieverはすでに知っている:RAG検索効率のための分散形QPP
- Abstract要約: チェコの核レギュレータの展開を動機として,RAGにおける検索効率向上のためのクエリ性能予測(QPP)パラダイムを3つ比較した。
我々の24の非語彙機能は、古典的なQPP文学プールの前に、クエリあたり2msで0.856の重み付き平均AUROCに達する。
LLM判定を1つの特徴(ハイブリッド)として加えると、ViDoRe(0.863)ではS1と一致するが、SJBでは統計的に有意なエッジが得られる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard Retrieval-Augmented Generation (RAG) pipelines often provide no reliable inference-time signal of whether retrieval succeeded; on ambiguous or out-of-scope queries, generation may then hallucinate. Motivated by a Czech nuclear-regulator deployment where data sensitivity precludes third-party LLM APIs, we compare three Query Performance Prediction (QPP) paradigms for retrieval sufficiency in RAG: score-based features, a content-based LLM judge, and a hybrid. On the eight ViDoRe vision domains (14,514 queries), our 24 non-lexical features (GeneralQPP; 15 distribution-shape, 5 query-surface, 4 global) reach a weighted-average AUROC of 0.856 at 2 ms per query, ahead of a classic-QPP literature pool (Classic Full, 0.835) and well above a local Qwen3.5 LLM judge (0.649, +0.207 gap; $\sim$3000$\times$ faster and cheaper per query). Adding the LLM judgment as one feature (hybrid) matches S1 on ViDoRe (0.863) but gains a statistically significant edge on SÚJB (AUROC 0.911 at Hit@5, adversarial-detection 0.954; 1,510 queries, 500 synthetic adversarial), at LLM latency. Rankings agree across datasets (Spearman $ρ= 0.90$). Under Leave-One-Domain-Out, S1 drops to 0.706; a 13-feature LODO-stepwise subset (S1-Lean) recovers to 0.719 (+0.032 over the literature pool).
- Abstract（参考訳）: Standard Retrieval-Augmented Generation (RAG) パイプラインは、しばしば、検索が成功したかどうかの信頼できる推論時信号を提供しない。
データ感度がサードパーティのLLM APIを阻害するチェコの核レギュレータによるデプロイメントによって、RAGの検索に有効なクエリパフォーマンス予測(QPP)パラダイムを3つ比較した:スコアベースの特徴、コンテンツベースのLLM判断器、ハイブリッド。
8つのViDoReビジョンドメイン(14,514クエリ)では、24の非語彙的特徴(GeneralQPP; 15の分散形状、5のクエリサーフェス、4のグローバル)が、古典的なQPP文学プール(Classic Full, 0.835)に先立ち、ローカルQwen3.5 LLMジャッジ(0.649, +0.207ギャップ;$\sim$3000$\times$ faster and cheap per query)よりもはるかに高い平均0.856のAUROCに達する。
LLM判定を1つの特徴として(ハイブリッド)は、ViDoRe(0.863)でS1と一致するが、LLMレイテンシでは統計的に重要なエッジを得る(Hit@5でのAUROC 0.911、逆検出0.954; 1,510クエリ、500の合成逆数)。
ランキングはデータセット間で一致している(Spearman $ρ= 0.90$)。
13個のLODO-stepwiseサブセット(S1-Lean)は文学プール上で0.719(+0.032)に回復する。
関連論文リスト
- TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。
データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。
我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文 参考訳（メタデータ） (2026-09-13T19:52:46Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - Sub-Billion, Super-Frontier: Small Language Models Rival Zero-Shot Frontier LLMs on General and Literary Relation Extraction [5.070542698701158]
大言語モデル(LLM)は強い関係抽出(RE)を実現する
本研究では,小言語モデル(SLM)が汎用ドメインと文学テキスト間のギャップをいかに埋めるかを考察する。
論文 参考訳（メタデータ） (2026-06-21T17:24:31Z) - Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。
既存のアプローチは、ゼロから完全なモデル実装を生成します。
我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文 参考訳（メタデータ） (2026-05-06T13:32:05Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - SelRoute: Query-Type-Aware Routing for Long-Term Conversational Memory Retrieval [0.0]
SelRouteは、クエリタイプに基づいて、各クエリを専用のパイプラインにルーティングするフレームワークである。
LongMemEval_Mでは、bge-base-en-v1.5 (109Mパラメータ)で0.800、bge-small-en-v1.5 (109Mパラメータ)で0.786のRecall@5を達成する。
FTS5のみを使用したゼロMLベースラインは0.692のNDCG@5を達成する。
論文 参考訳（メタデータ） (2026-04-02T18:02:59Z) - LLM-Guided Probabilistic Fusion for Label-Efficient Document Layout Analysis [6.908972852063454]
半教師あり学習の進歩にもかかわらず、文書レイアウトの理解はデータ集約的なままである。
本稿では、視覚的予測を構造的事前に融合させることにより、半教師付き検出を強化するフレームワークを提案する。
提案手法はモデルスケール間で一貫した利得を示す。
論文 参考訳（メタデータ） (2025-11-12T02:25:58Z) - Guarded Query Routing for Large Language Models [2.2349474636722317]
ガードドクエリルーティング問題について検討し、最初にガードドクエリルーティングベンチマーク(GQR-Bench)を導入する。
その結果,ドメイン外検出能力が向上したWideMLPでは,精度(88%)と速度(4ms)のトレードオフが最良であることがわかった。
本研究は,LLMを(保護された)クエリルーティングに自動的に依存させることに挑戦し,実用的なアプリケーションに具体的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2025-05-20T15:46:59Z) - LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。
バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文 参考訳（メタデータ） (2024-10-27T16:23:26Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。