論文の概要: Q2D-Web: A Large-Scale Benchmark for Retrieval in Agentic RAG Systems

• arxiv url: http://arxiv.org/abs/2609.08887v1
• Date: Tue, 08 Sep 2026 15:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 15:24:51.456298
• Title: Q2D-Web: A Large-Scale Benchmark for Retrieval in Agentic RAG Systems
• Title（参考訳）: Q2D-Web:エージェントRAGシステムにおける検索のための大規模ベンチマーク
• Abstract要約: Q2D-Webは,10言語で190MのドキュメントWebコーパスと70kのエージェント検索クエリからなる大規模エージェント検索ベンチマークである。 我々は,語彙モデル,密度モデル,遅延相互作用モデルを含む13のレトリバーをベンチマークし,相対的順序付けが判定セットの選択に大きく影響しないことを確認した。
• 参考スコア（独自算出の注目度）: 5.118312084290873
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Evaluating first-stage retrievers in large-scale production RAG requires a benchmark that pairs a large-scale corpus with a large set of agent-reformulated search queries based on real user queries and their conversation threads, and that labels many relevant documents per query. No existing public benchmark evaluates this setting: large-scale collections typically provide only a small number of evaluation queries, whereas benchmarks with many queries generally contain only millions of documents. Moreover, most benchmarks assess human-written queries, while the first-stage retrievers in agentic RAG pipelines serve machine-written reformulations whose distribution differs from human search behavior. To overcome these evaluation gaps, we introduce Q2D-Web (Query2Doc-Web), a large-scale agentic retrieval benchmark consisting of a 190M-document web corpus and 70k agentic search queries in ten languages, reformulated from real-world user queries in production systems. Q2D-Web provides three sets of fixed relevance judgments: agent citations, production rankings, and a combined set that unions both signals and adds LLM-based judgments of unlabeled pooled documents to reduce false negatives. We benchmark 13 retrievers including lexical, dense, and late-interaction models and find that their relative ordering is largely insensitive to the choice of judgment set, while diverging substantially across topical domains, query languages, and query types. To enable fast evaluation, we also study subcorpus sampling as an approximation to full-corpus evaluations. Retaining a third of the corpus, selected by reciprocal rank fusion over pooled retriever runs, preserves the full-corpus model ranking under the combined judgments while raising absolute Recall@1000 only by 3 to 7 points. The public leaderboard is accessible under: https://huggingface.co/spaces/perplexity-ai/q2d-web-leaderboard
• Abstract（参考訳）: 大規模生産における第1段階のレトリバーの評価には、大規模コーパスと、実際のユーザクエリと会話スレッドに基づく大量のエージェント変換検索クエリを組み合わせ、クエリ毎に関連ドキュメントをラベル付けするベンチマークが必要である。 大規模なコレクションは通常、少数の評価クエリのみを提供するが、多くのクエリを持つベンチマークは通常、数百万のドキュメントしか含まない。 さらに、ほとんどのベンチマークでは、人間によるクエリを評価しているが、エージェントRAGパイプラインの第1段階のレトリバーは、人間の検索行動と分布が異なる機械による書き換えを提供する。 このような評価ギャップを克服するために,実運用システムにおける実世界のユーザクエリから再構成した,190万件のドキュメントWebコーパスと70万件のエージェント検索クエリからなる大規模エージェント検索ベンチマークであるQ2D-Web(Query2Doc-Web)を紹介した。 Q2D-Webは、エージェントの引用、生産ランキング、および両方の信号を結合し、偽陰性を減らすためにラベル付けされていない文書のLCMベースの判断を追加する組み合わせセットの3つの固定された関連判断を提供する。 我々は、語彙、密度、遅延相互作用モデルを含む13のレトリバーをベンチマークし、それらの相対的な順序付けが、トピックのドメイン、クエリ言語、クエリタイプに大きくばらつきながら、判定セットの選択にほとんど無関心であることを示した。 高速な評価を可能にするため,全コーパス評価への近似としてサブコーパスサンプリングも検討した。 プールされたレトリバーに対して相互の階数融合によって選択されたコーパスの3分の1を保持することは、組み合わせた判定の下での完全なコーパスモデルランキングを保持し、絶対 Recall@1000 を 3 から 7 ポイントだけ引き上げる。 https://huggingface.co/spaces/perplexity-ai/q2d-web- Leaderboard

関連論文リスト

• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
  我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。 我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。 Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
  論文  参考訳（メタデータ） (2025-10-30T07:29:14Z)
• Cluster-based Adaptive Retrieval: Dynamic Context Selection for RAG Applications [8.946586077722822]
  クラスタベースのAdaptive Retrieval (CAR) は、順序付きクエリ文書類似度距離のクラスタリングパターンを分析して、最適な文書数を決定するアルゴリズムである。 CARは、常に最適な検索深度を選択し、最高TESスコアを達成し、固定されたトップkベースラインを全て上回る。
  論文  参考訳（メタデータ） (2025-10-02T05:11:12Z)
• Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
  The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。 SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
  論文  参考訳（メタデータ） (2025-07-14T08:41:53Z)
• Hierarchical Lexical Graph for Enhanced Multi-Hop Retrieval [22.33550491040999]
  RAGは、大きな言語モデルを外部の証拠に基礎を置いているが、セマンティックに遠く離れた文書で答えをまとめなければならないと、いまだに混乱している。 私たちは、StatementGraphRAGとTopicGraphRAGという2つのプラグイン・アンド・プレイレトリバーを構築します。 提案手法は,検索リコールと正当性において平均23.1%の相対的改善を達成し,有意なチャンクベースRAGよりも優れていた。
  論文  参考訳（メタデータ） (2025-06-09T17:58:35Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation [23.74712435991676]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成する言語モデルを最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 その結果,2つのベンチマークにおいて,従来のリライト・ザ・リトリーブ・アプローチの最先端性能を上回る優位性を示した。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。