論文の概要: Beyond Benchmark Scores: How Synthetic and Authentic Query Distributions Diverge in RAG Evaluation

• arxiv url: http://arxiv.org/abs/2609.14579v1
• Date: Sun, 13 Sep 2026 15:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.859489
• Title: Beyond Benchmark Scores: How Synthetic and Authentic Query Distributions Diverge in RAG Evaluation
• Title（参考訳）: ベンチマークスコアを超えて - RAG評価における合成および認証クエリ分散の多様性
• Abstract要約: 合成生成は、質問をコーパス全体に均等に拡散し、長い詳細なクエリを定式化する。 我々は、Gemini Notebookで生成された1,851の合成質問と、学生調査で収集された322の真正なクエリを比較した。 合成ベンチマークで非常に効果的に見える設定は、真のクエリでかなりのパフォーマンス低下を経験します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RAG systems are routinely evaluated using synthetic question sets generated from the target document corpus. While this practice provides a useful check on overall retrieval capability, relying exclusively on synthetic benchmarks can mislead under distribution shift and overstate deployment readiness. Synthetic generation spreads questions evenly across the corpus, formulating long, detailed queries; real users put most of their traffic on a few administrative and procedural topics in short queries, while also asking about matters the generator never covers at all. We demonstrate this gap on a university faculty information system, comparing 1,851 synthetic questions generated via Gemini Notebook against 322 authentic queries collected via a student survey. The synthetic and authentic query sets differ significantly: authentic queries average 6.8 words versus 15.7 for the synthetic ones, and draw from only 53 unique sources compared to 165. Consequently, configurations that appear highly effective on synthetic benchmarks experience a substantial performance drop on authentic queries. Importantly, optimizing on synthetic queries selected a higher-latency hybrid retriever. In our setting the sparse retrieval component benefited long synthetic questions but not short authentic ones, costing up to $8\times$ the latency of the fastest configuration we tested. We propose treating synthetic and authentic query sets as complementary extremes of the query-quality spectrum: synthetic data verifies maximum retrieval capacity under idealized conditions, while authentic queries test system robustness to the imprecise, underspecified inputs of real users.
• Abstract（参考訳）: RAGシステムは、対象文書コーパスから生成された合成質問セットを用いて日常的に評価される。 このプラクティスは、全体的な検索機能に関する有用なチェックを提供するが、合成ベンチマークのみに依存すると、分散シフトやオーバーステートなデプロイメントの準備がミスリードする可能性がある。 合成生成は、コーパス全体に均等に分散し、長い詳細なクエリを定式化し、実際のユーザは、短いクエリでいくつかの管理的および手続き的なトピックにトラフィックの大部分を配置すると同時に、ジェネレータがカバーしていない問題についても質問する。 本稿では,ジェミニノートブックで生成した1,851の合成質問と,学生調査で収集した322の正解質問とを比較し,大学情報システムにおけるこのギャップを実証する。 真のクエリの平均は6.8ワードで、合成クエリの平均は15.7ワードで、53のユニークなソースから165と比較すると、それぞれ異なる。 その結果、合成ベンチマークで非常に効果的に見える構成は、真のクエリでかなりのパフォーマンス低下を経験する。 重要なことは、合成クエリーを最適化し、高遅延ハイブリッドレトリバーを選択したことである。 私たちの設定では、スパース検索コンポーネントは、長い合成質問の恩恵を受けました。 本稿では,クエリ品質のスペクトルを補完するエクササイズとして,合成されたクエリセットと認証されたクエリセットを扱い,合成データは理想的な条件下で最大検索能力を検証する一方で,実際のユーザの不正確で不特定な入力に対して,信頼性の高いクエリテストシステムを構築する。

関連論文リスト

• EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge [53.44952808455985]
  EvoBrowseCompは400の英語と400の中国語の複雑な質問のベンチマークである。 EvoBrowseCompは定期的に更新してデータの汚染を防ぐことができる。 自動更新可能でハイディフルトなベンチマークのためのスケーラブルなパラダイムを確立します。
  論文  参考訳（メタデータ） (2026-06-11T09:48:32Z)
• Active Query Synthesis for Preference Learning [10.489427796755232]
  アクティブラーニングは、このコストを削減するが、標準的な手法は、プールベースの評価のために計算的に高価である。 本稿では,不明瞭な比較を明示的に考慮した新しい信頼度対応モデルを提案する。 提案するフレームワークの汎用性と,合成選好学習,制約付きテキスト要約データセット,およびシミュレーションされた移動ロボットの主観的連続空間制御ゲインチューニングにおける性能を実証する。
  論文  参考訳（メタデータ） (2026-05-25T17:37:58Z)
• InfoSynth: Information-Guided Benchmark Synthesis for LLMs [69.80981631587501]
  大規模言語モデル (LLM) は推論やコード生成において大きな進歩を見せている。 従来のベンチマーク作成は人手による作業に依存しています。 この作業では、推論ベンチマークの自動生成と評価のための新しいフレームワークであるInfo Synthを紹介した。
  論文  参考訳（メタデータ） (2026-01-02T05:26:27Z)
• SynClaimEval: A Framework for Evaluating the Utility of Synthetic Data in Long-Context Claim Verification [1.740313383876245]
  長文クレーム検証における合成データの有用性を評価するためのフレームワークであるSynClaimEvalを紹介する。 本フレームワークでは,文脈長の変化による入力特性,ドメイン外ベンチマークへの一般化テスト,クレームの複雑性とエラータイプの変化を制御した合成ロジック,モデル説明が予測に合致する証拠を提供する度合いを計測した説明品質の3つの次元について検討する。
  論文  参考訳（メタデータ） (2025-11-12T18:36:59Z)
• BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
  BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。 このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
  論文  参考訳（メタデータ） (2025-08-08T17:55:11Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Towards Understanding Bias in Synthetic Data for Evaluation [27.14669743191845]
  大規模言語モデル(LLM)を用いた合成テストコレクションの信頼性について検討する。 まず,評価結果にそのようなバイアスがあることを実証的に示し,システム評価に与える影響を分析した。 分析の結果, 絶対的なシステム性能の計算など, 総合的なテストコレクションを用いた評価結果におけるバイアスの影響は大きいが, その効果は相対的なシステム性能の比較においてそれほど重要でない可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-12T02:25:42Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization [21.140086066964667]
  本稿では,クエリ生成プロセスにランキング信号を統合するフレームワークを提案する。 実験の結果,DPO後の問合せと文書の相互関係は高く評価された。
  論文  参考訳（メタデータ） (2025-05-25T20:34:12Z)
• The Synthetic Imputation Approach: Generating Optimal Synthetic Texts For Underrepresented Categories In Supervised Classification Tasks [0.0]
  高品質なトレーニングセットを構築する際に、タスク内のすべてのカテゴリの十分な例を見つけることは、しばしば困難である。 合成計算手法として, 合成計算法を提案する。 提案手法は, 注意深いプロンプトと, サンプルからの置き換えでランダムに描画された5つのオリジナル例に基づいて, 合成テキストを生成する。 75本以上の原本の場合、合成計算の性能は原本の全サンプルと同等であり、オーバーフィットは低く、予測可能で、50本分の原本が修正可能である。
  論文  参考訳（メタデータ） (2025-04-21T15:07:26Z)
• Sequential-NIAH: A Needle-In-A-Haystack Benchmark for Extracting Sequential Needles from Long Contexts [20.901983944214532]
  本研究では,長期の文脈から逐次情報を抽出する大規模言語モデルの能力を評価するためのベンチマークであるSequential-NIAHを紹介する。 ベンチマークには3つの針生成パイプラインが含まれている: 合成時間、実時間、実時間、実時間、コンテキストの長さは8Kから128Kである。 我々は6つのよく知られたLCM実験を行い、最も優れたモデルでさえ、このベンチマークのテストセットで63.50%の最大精度を達成できたことを明らかにした。
  論文  参考訳（メタデータ） (2025-04-07T03:50:12Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。