論文の概要: RAGFlip: Measuring Query-Level Negative Flips in Retriever Upgrades

• arxiv url: http://arxiv.org/abs/2610.07266v1
• Date: Mon, 05 Oct 2026 19:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.609607
• Title: RAGFlip: Measuring Query-Level Negative Flips in Retriever Upgrades
• Title（参考訳）: RAGFlip:リトライバアップグレードにおけるクエリレベル負のフリップの測定
• Abstract要約: 我々は、回帰を負のフリップとして研究し、BM25が判断された関連する経路を検索し、置換しないクエリについて検討する。 BGE-large, E5-large-v2, SPLADEを3つのBEIRコレクション(Natural Questions, HotpotQA, FiQA)で5つの検索深度で評価した。 負のフリップはすべての設定で起こり、コーパス、レトリーバー、深さによって大きく異なる。
• 参考スコア（独自算出の注目度）: 0.515386073646463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retriever upgrades are typically evaluated using aggregate metrics, which can hide regressions on queries the previous retriever already served correctly. We study these regressions as negative flips: queries for which BM25 retrieves a judged relevant passage and the replacement does not. We evaluate BGE-large, E5-large-v2, and SPLADE on three BEIR collections: Natural Questions, HotpotQA, and FiQA, across five retrieval depths. All replacements improve overall retrieval coverage. Negative flips occur in every setting and vary substantially by corpus, retriever, and depth. At k=1, 8.6-37.5% of BM25 successes are lost across the evaluated settings. Negative-flip rates are lower in the larger-depth settings, where the BM25-supported cohort is defined separately at each depth. These rates use the any-relevant support label. On HotpotQA at k=10, requiring every positive qrel passage raises the negative-flip rate to 12.3-17.3%. Simple fixed-budget combinations with BM25 reduce these regressions, and a HotpotQA reader experiment provides a limited downstream check in which some retrieval flips are accompanied by answer regressions. These results motivate evaluating retriever updates using query-level compatibility alongside aggregate retrieval quality.
• Abstract（参考訳）: 一般的に、レトリバーのアップグレードは集約メトリクスを使用して評価される。これは、以前のレトリバーがすでに正しく提供していたクエリの回帰を隠蔽することができる。 我々はこれらの回帰を負のフリップとして研究する:BM25が判断された関連する経路を検索し、置換しないクエリ。 BGE-large, E5-large-v2, SPLADEを3つのBEIRコレクション(Natural Questions, HotpotQA, FiQA)で5つの検索深度で評価した。 すべての置換は全体の検索範囲を改善する。 負のフリップはすべての設定で起こり、コーパス、レトリーバー、深さによって大きく異なる。 k=1では、BM25の成功の8.6-37.5%が評価された設定で失われている。 BM25が支持するコホートが各深さで別々に定義される大深度設定では負のフリップ率が低い。 これらのレートは、関連するサポートラベルを使用します。 k=10のHotpotQAでは、全ての正のクレル通過は負のフリップ率を12.3-17.3%に上げる。 BM25との単純な固定予算の組み合わせは、これらの回帰を減少させ、HotpotQAリーダー実験は、いくつかの検索フリップに応答レグレッションが付随する制限された下流チェックを提供する。 これらの結果は、集約された検索品質と並行して、クエリレベルの互換性を用いて、検索者の更新を評価する動機付けとなる。

関連論文リスト

• Seek: Self-Evaluative Exploration for Knowledge Retrieval [21.59901422714961]
  Seek, Self-Evaluative Exploration for Knowledge Retrievalを紹介します。これは、テスト時に反復的なコーパスインタラクションを通じて、この制限に対処するトレーニング不要のフレームワークです。 TREC Deep Learningでは、Seekマッチはランキング品質でリランカーを訓練し、シングルパスBM25よりも継続的にRecall@100を改善した。
  論文  参考訳（メタデータ） (2026-09-24T03:47:32Z)
• Route Me If You Can: A Benchmark for Query Reformulation Selection [21.59901422714961]
  クエリ、ドメイン、レトリバー、モデルバックボーンに対して、単一の再構成戦略は一貫して最適ではありません。 既存の研究では、異なるリキュレータープール、レトリバー、関連信号、トレーニングラベル、評価指標を使用するため、比較が難しい。 この決定を再現的に研究するために必要な高価なアーティファクトを凍結するベンチマークであるQueryRouteを紹介します。
  論文  参考訳（メタデータ） (2026-09-14T01:06:41Z)
• Do Static Embeddings Add Value to Hybrid Dutch Retrieval? [0.0]
  埋め込みベンチマークは、スタンドアロンのモデル品質を測定するが、低コストのレトリバーがランキング情報に貢献するかどうかを定めていない。 オランダ語検索課題を対象としたMTEB-NL (Massive Text Embedding Benchmark for Dutch) によるこの問題の制御評価について述べる。 重み付き相互階級融合(RRF)はBest Matching 25 (BM25)、Qwen/Qwen3-Embedding-0.6B (Qwen)、および2つの多言語静的埋め込みモデルを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-08-03T12:10:51Z)
• R$^3$AG: Retriever Routing for Retrieval-Augmented Generation [59.47703698994575]
  R$3$AGは、検索機能を2つの学習可能なディメンション、すなわち検索品質と生成ユーティリティに分解する。 R$3$AGは、最高の個々のレトリバーと最先端の静的ルーティングメソッドの両方を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-22T06:51:20Z)
• Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
  Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。 このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。 本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
  論文  参考訳（メタデータ） (2026-03-12T19:18:59Z)
• RVR: Retrieve-Verify-Retrieve for Comprehensive Question Answering [32.83942046822049]
  retrieve-verify-retrieve (RVR)は、回答カバレッジを最大化するために設計されたマルチラウンド検索フレームワークである。 本研究は,検証手法を応用し,新たな推論シナリオに適応する,包括的回答リコールのための,有望な反復的アプローチを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:48:05Z)
• LoRE: Logit-Ranked Retriever Ensemble for Enhancing Open-Domain Question Answering [0.0]
  位置バイアスを緩和することで解答精度と妥当性を向上させる新しいアプローチであるLoREを提案する。 LoREはBM25やFAISSインデックス付き文変換器といった多様なレトリバーのアンサンブルを使用している。 重要な革新は、ロジットベースの回答ランキングアルゴリズムで、大きな言語モデルからのロジットスコアとパスの検索ランクを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-10-13T23:06:08Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。