論文の概要: A Systematic Multi-Domain Evaluation of Document Retrievers

• arxiv url: http://arxiv.org/abs/2609.29455v1
• Date: Thu, 24 Sep 2026 12:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.910916
• Title: A Systematic Multi-Domain Evaluation of Document Retrievers
• Title（参考訳）: 文書検索の系統的マルチドメイン評価
• Abstract要約: 文献検索者の評価を行い、7つのIRデータセットにわたる3つの家族(疎密、密、拡張ベース)と33の検索者について検討した。 以上の結果から,NV-Embed-v2は7つのデータセットのうち4つで最強のパフォーマンスを達成した。 スパースレトリバーのうち、SPLADE-v3は、よりレイテンシが低く、MS MARCOのスコアも高いにもかかわらず、最高のパフォーマンスのアプローチに匹敵している。
• 参考スコア（独自算出の注目度）: 4.010598744735378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document retrieval is a crucial component of many modern AI systems, directly influencing their effectiveness, robustness, and fairness in downstream tasks. While recent years have seen a growing number of retrievers, comparative studies in the literature are typically limited in scope or focused on singular benchmarks, domains, or model families. This fragmentation makes it difficult to draw reliable conclusions about the relative strengths, weaknesses, and trade-offs of document retrievers. To address this gap, we conduct a large-scale empirical evaluation of document retrievers, covering three families (sparse, dense, and expansion-based) and evaluating 33 retrievers across seven IR datasets, analyzing retrieval quality, runtime, and failure points. Rather than tuning each model individually, we evaluate every retriever off the shelf, under the configuration reconstructable from its public documentation and a uniform compute budget. Our results show that NV-Embed-v2 achieves the strongest performance on four of the seven datasets, albeit at the cost of substantial query latencies. Among sparse retrievers, we find that SPLADE-v3 rivals the top-performing approach despite much lower latency, and even achieves top scores on MS MARCO. On instruction-following datasets, GritLM delivers the best performance. Finally, an analysis of the retrievers' failure points reveals contrasts between models and families that indicate potential for unrealized gains in retrieval performance.
• Abstract（参考訳）: 文書検索は多くの現代のAIシステムにおいて重要な要素であり、下流タスクの有効性、堅牢性、公平性に直接影響を与える。 近年ではレトリバーの数が増えているが、文献における比較研究は通常、スコープに限られるか、特異なベンチマーク、ドメイン、モデルファミリーに焦点が当てられている。 この断片化は、ドキュメントレトリバーの相対的な強さ、弱点、トレードオフに関する信頼できる結論を引き出すのを難しくする。 このギャップに対処するため、文書検索者の大規模評価を行い、3つのファミリー(疎度、密度、拡張ベース)をカバーし、7つのIRデータセットにわたる33の検索者を評価し、検索品質、実行時、障害点を分析した。 各モデルを個別にチューニングするのではなく、公開資料と統一的な計算予算から再構成可能な構成で、棚からすべてのレトリバーを評価する。 以上の結果から,NV-Embed-v2は,クエリ待ち時間に比し,7つのデータセットのうち4つにおいて最強のパフォーマンスを達成した。 スパースレトリバーのうち,SPLADE-v3 はレイテンシが大幅に低く,MS MARCO の上位スコアさえも達成している。 命令追従データセットでは、GritLMが最高のパフォーマンスを提供する。 最後に、検索者の故障点の分析により、検索性能の未実現利得の可能性を示すモデルとファミリーの対比を明らかにする。

関連論文リスト

• Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems [55.04168927059962]
  推論集約的な検索は、単にトピックの類似性に一致するのではなく、下流の推論を支持する証拠を明らかにすることを目的としている。 BRIGHT-Proは、専門家による注釈付きベンチマークで、各クエリを複数アスペクトのゴールドエビデンスで拡張する。 また,相補的な正と正条件の強陰性を生成するアスペクト分解型合成コーパスであるRTriever-Synthを構築した。
  論文  参考訳（メタデータ） (2026-05-05T17:42:50Z)
• Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies [0.5352699766206808]
  本研究の目的は、RAGシステムにおいてマルチホップ推論がいかに効果的に評価できるかをよりよく理解することである。 OpenAI、Meta、GoogleのLLMによる実験は、CAREがRAGシステムにおけるマルチホップ推論を評価する既存の手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-20T13:20:57Z)
• Revisiting RAG Retrievers: An Information Theoretic Benchmark [10.168016086591452]
  MIGRASCOPEは相互情報に基づくRAGレトリバー分析スコープである。 我々は、最先端のレトリバーを再検討し、情報と統計的推定理論に基づく原則付きメトリクスを導入する。 慎重に選択すれば、レトリバーのアンサンブルは、どのレトリバーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-25T04:19:06Z)
• Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
  視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。 本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。 このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
  論文  参考訳（メタデータ） (2025-11-28T03:09:40Z)
• BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
  BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。 このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
  論文  参考訳（メタデータ） (2025-08-08T17:55:11Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
  大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T04:30:20Z)
• Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
  検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。 我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。 私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
  論文  参考訳（メタデータ） (2025-03-06T23:23:13Z)
• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [7.976154147999298]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して 性能改善のための2つのアプローチを提案する。 まず,IDFトークンの寄与を抑えるマッチング関数に対するIDF対応ペナルティを提案する。 第2に,シロイヌナズナと疎水性レトリーバーを組み合わせたヘテロジニアスアンサンブル知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。