論文の概要: Re:CAP - Auditing Retrieval Coverage in Production RAG Pipelines

• arxiv url: http://arxiv.org/abs/2609.24122v2
• Date: Tue, 22 Sep 2026 17:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.653023
• Title: Re:CAP - Auditing Retrieval Coverage in Production RAG Pipelines
• Title（参考訳）: Re:CAP - RAGパイプラインの検索カバレッジ監査
• Abstract要約: 本稿では,すべての文書を列挙するのではなく,欠落した文書の証拠を調査することで,検索対象を監査することを提案する。 我々のメソッドRe:CAPは、デプロイされたRAGパイプラインの初期回答と検索されたコンテキストに適用される参照不要の監査ループである。
• 参考スコア（独自算出の注目度）: 4.383171016550379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) is hard to monitor in production: exhaustive relevance labels do not exist for non-stationary multi-million-passage corpora that re-index in real time. As a result, retrieval quality is generally understudied and often deprioritised in favour of generation-oriented metrics. In this work, we propose auditing retrieval coverage by probing for evidence of missing documents rather than enumerating every relevant one. Our method Re:CAP (REtrieval Coverage Audit by iterative Probing) is a reference-free audit loop applied to a deployed RAG pipeline's initial answer and retrieved context: it identifies the topics already covered, generates probing questions for plausibly missing topics, retrieves candidate documents, and applies an LLM-as-judge to retain only those that introduce previously-unretrieved information. On four public benchmarks, Re:CAP recovers 9-29% of gold labels that flat BM25 top-500 cannot reach, rising to 48% on TREC-COVID. On MuSiQue Re:CAP beats flat hybrid top-500 by +12.9 pp on recall at less than half the document budget. An ensemble BM25, dense, and hybrid baseline (top-500 each) still leaves out 21.2% of gold docs on TREC-COVID that Re:CAP recovers; human annotators judge that 78.9% of those structurally distinct documents add new information to the baseline answer (Fleiss $κ$ = 0.79, n = 123), and 73.9% on live production traffic (n = 180). End-to-end recall is reproducible to within $\pm$1% across three independent runs, making Re:CAP a stable instrument for periodic retrieval audits.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) はプロダクション環境での監視が難しい。 結果として、検索品質は概して過小評価され、世代指向のメトリクスに優先されることが多い。 本研究では,すべての文書を列挙するのではなく,欠落した文書の証拠を探索することで,検索対象を監査することを提案する。 我々の手法であるRe:CAP(Retrieval Coverage Audit by Iterative Probing)は、RAGパイプラインの初期回答と検索コンテキストに適用された参照不要監査ループであり、既にカバーされているトピックを特定し、少なくとも欠落したトピックの探索質問を生成し、候補文書を検索し、LLM-as-judgeを適用して、未検索情報のみを格納する。 4つの公開ベンチマークで、Re:CAPはBM25トップ500が到達できないゴールドラベルの9～29%を回復し、TREC-COVIDでは48%まで上昇した。 MuSiQue Re:CAPは、ドキュメント予算の半分以下でリコール時に、フラットなハイブリッドトップ500を+12.9pp上回る。 BM25、密集型、ハイブリッドベースライン(それぞれ500点以上)は、Re:CAPが回復するTREC-COVID上で21.2%のゴールドドクを残しており、人間のアノテーションは、78.9%がベースラインの回答に新しい情報(Fleiss $κ$ = 0.79, n = 123)、73.9%はライブ生産トラフィック(n = 180)を付加していると判断している。 エンドツーエンドのリコールは、3つの独立した実行で$\pm$1%の範囲で再現可能である。

関連論文リスト

• HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries [1.5965246343492343]
  HIRAは、トレーニング不要でオンプレミスの検索拡張された、規制されたデプロイメントにおけるドキュメント分類のためのカスケードである。 信頼された文書は、検索によって直接分類され、不確実または視覚的に不確実な文書は、ローカルにホストされた検証者に渡される。 プライベートな80クラスのトレーディングファイナンスコーパスでは、HIRAが30,233のドキュメント生成ストリームを処理し、わずか1,945のドキュメントに対して人間の修正を要求する。
  論文  参考訳（メタデータ） (2026-08-22T06:19:19Z)
• Compliance-Scored Best-of-N Guardrail Orchestration for Multimodal Document Generation in Payments Dispute Defense [0.0]
  企業文書の大量生成には、財務紛争の物語、コンプライアンス通知、監査要約が含まれる。 統一されたガードレール層の前に、プロダクションシステムはしばしば別々のPIIリアクション、コンテンツモデレーション、フォーマット検証ステップを縫い合わせていた。 本稿では,テキストと画像入力のためのガードレールオーケストレーションレイヤを提案する。
  論文  参考訳（メタデータ） (2026-06-01T00:24:30Z)
• FinGround: Detecting and Grounding Financial Hallucinations via Atomic Claim Verification [13.891522069967507]
  FinGroundは、ファイナンシャルドキュメントQAのための検証済みの地上パイプラインである。 ステージ1は、テキストとテーブル上でファイナンス対応のハイブリッド検索を行う。 ステージ2は6種類の財政分類で分類された原子的主張に答えを分解する。 ステージ3は、段落とテーブルセルレベルの引用で、サポートされたクレームを書き換える。
  論文  参考訳（メタデータ） (2026-04-26T07:52:59Z)
• EverydayGPT: Confidence-Gated Routing for Efficient and Safe Hybrid GPT-RAG Conversational QA [0.0]
  EverydayGPTは、信頼性保証ルーティング機構を中心に構築された軽量な会話型QAシステムである。 CGRは、高速なRAG抽出によって解決することで、クエリの85%に対してコストのかかるGPT経路の呼び出しを回避している。 システムは F1 = 0.226 +/- 0.004 を GPT のみの 0.171 と無条件の RAG の 0.210 と比較すると達成する。
  論文  参考訳（メタデータ） (2026-04-24T12:44:26Z)
• From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents [0.0]
  スパース, 密度, ハイブリッド融合, クロスエンコーダリグレード, クエリ拡張, インデックス拡張, 適応検索にまたがる10の検索戦略をベンチマークした。 我々はRecall@k,MRR,nDCGによる検索品質とNumber Matchによるエンドツーエンド生成品質を評価する。
  論文  参考訳（メタデータ） (2026-04-02T07:53:40Z)
• Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
  Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。 このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。 本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
  論文  参考訳（メタデータ） (2026-03-12T19:18:59Z)
• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• Retrieval-Augmented Generation for Reliable Interpretation of Radio Regulations [49.671779378073886]
  無線規制分野における質問応答について検討する。 本稿では,通信事業者固有のレトリーバル拡張生成(RAG)パイプラインを提案する。 当社のアプローチは,テスト対象モデル全体の生成精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-09-11T17:43:42Z)
• Recon, Answer, Verify: Agents in Search of Truth [36.56689822791777]
  Politi Fact Only (PFO)は、politifact.comの2,982件の政治的主張のベンチマークデータセットである。 すべてのポストクレーム分析とアノテーションキューが手作業で削除された。 本稿では,質問生成,回答生成,ラベル生成という3つのエージェントからなるエージェントフレームワークであるRAVを提案する。
  論文  参考訳（メタデータ） (2025-07-04T15:44:28Z)
• Reproducibility in NLP: What Have We Learned from the Checklist? [48.86370747121637]
  CLカンファレンスは2020年にNLP再現性チェックリストを作成した。 10,405件の匿名応答を調べることで,チェックリストを初めて解析する。 新たなデータを収集する申請件の44%は、受理される可能性が5%低いことがわかりました。
  論文  参考訳（メタデータ） (2023-06-16T00:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。