論文の概要: Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
- arxiv url: http://arxiv.org/abs/2606.05241v1
- Date: Wed, 03 Jun 2026 07:11:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.272595
- Title: Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
- Title（参考訳）: ディープリサーチエージェントにおける検索時間汚染:公開ベンチマーク評価におけるパフォーマンスインフレーションの測定
- Authors: Yongjie Wang, Xinyue Zhang, Kunhong Yao, Zhiwei Zeng, Kaisong Song, Jun Lin, Zhiqi Shen,
- Abstract要約: ディープリサーチエージェント評価における検索時間汚染(STC)について検討する。
STCは広く普及しており、パフォーマンスを最大4%向上させることができる。
我々は,サンドボックスの分離,透明な探索トラジェクトリ,ベンチマークアクセス制御など,汚染に配慮したプラクティスを提唱する。
- 参考スコア（独自算出の注目度）: 17.913171310675306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Public benchmarks enable fair and reproducible evaluation of LLM reasoning, but they become fragile for deep research agents that actively search the web during inference. Such agents may retrieve public benchmark metadata, question context, or even ground-truth answers via web search. This gives rise to Search-Time Contamination (STC), where external retrieval bypasses intended reasoning and inflates measured performance. We systematically study STC in deep research agent evaluation. We define three contamination types with increasing severity, namely Benchmark Metadata Leakage, Question-Context Leakage, and Explicit Answer Leakage, and develop detection algorithms to identify them and quantify their impact on agent performance. Evaluating modern deep research agents on six public benchmarks, we find that STC is widespread and can inflate performance by up to 4%. Our findings show that existing evaluations may overestimate true reasoning ability. We therefore advocate contamination-aware practices, including isolated sandboxes, transparent search trajectories, and controlled benchmark access.
- Abstract（参考訳）: 公開ベンチマークは、LLM推論の公平かつ再現可能な評価を可能にするが、推論中にWebを積極的に検索するディープリサーチエージェントには脆弱である。
このようなエージェントは、公開ベンチマークメタデータ、質問コンテキスト、あるいはWebサーチによる地味な回答を検索することができる。
これにより、検索時間汚染(STC)が発生し、外部検索は意図した推論をバイパスし、測定されたパフォーマンスを膨らませる。
ディープリサーチエージェント評価において,STCを体系的に研究した。
重大度が増大する3つの汚染タイプ,すなわちBenchmark Metadata Leakage, Question-Context Leakage, Explicit Answer Leakageを定義し,それらを識別し,エージェントのパフォーマンスに与える影響を定量化する検出アルゴリズムを開発した。
6つの公開ベンチマークで最新のディープリサーチエージェントを評価すると、STCは広く、パフォーマンスを最大4%向上させることができる。
以上の結果から,既存の評価は真の推論能力を過大評価する可能性が示唆された。
そこで我々は,サンドボックスの分離,透明な探索トラジェクトリ,ベンチマークアクセス制御など,汚染に配慮したプラクティスを提唱する。
関連論文リスト
- FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - Over-Searching in Search-Augmented Large Language Models [22.821710825732563]
検索強化された大言語モデル(LLM)は、外部検索を統合することで知識集約的なタスクに優れる。
過剰探索は、無関係な文脈を取り入れることで、計算の非効率性と幻覚をもたらす。
以上の結果から, (i) 解答可能な問合せに対する解答精度は向上するが, 解答不可能な問合せに対する棄却を損なうこと, (ii) 過剰探索が複雑な推論モデルや深層研究システムにおいてより顕著であること, (iii) 否定的証拠の存在が棄却を改善していることが示唆された。
論文 参考訳（メタデータ） (2026-01-09T03:24:46Z) - SafeSearch: Automated Red-Teaming for the Safety of LLM-Based Search Agents [63.70653857721785]
我々は、低品質な検索結果の出現率と、エージェントの動作を誤る可能性を実証する2つの実験を行った。
この脅威に対処するため、私たちは、体系的、スケーラブルで、コスト効率のよい自動化されたレッドチームフレームワークを導入しました。
論文 参考訳（メタデータ） (2025-09-28T07:05:17Z) - Search-Time Data Contamination [18.94571261664399]
探索時間汚染(STC)という類似の問題を検索ベースLLMエージェントの評価において同定する。
評価データセットをホストするオンラインプラットフォームであるHuggingFaceが,検索ベースのエージェントログから検索したソースの中に現れることがわかった。
本稿では,ベンチマーク設計のベストプラクティスと,この新たなリークに対処するための結果報告を提案する。
論文 参考訳（メタデータ） (2025-08-12T22:52:21Z) - BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。
このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
論文 参考訳（メタデータ） (2025-08-08T17:55:11Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳（メタデータ） (2025-06-29T08:34:59Z) - DeepResearchGym: A Free, Transparent, and Reproducible Evaluation Sandbox for Deep Research [25.368303145176554]
DeepResearchGymはオープンソースのサンドボックスで、検索APIと、ディープリサーチシステムのベンチマークのための厳格な評価プロトコルを組み合わせる。
このAPIは大規模な公開Webコーパス、すなわちClueWeb22とFineWebをインデックスし、最先端の高密度検索器と、DikANNによる近接検索を使用する。
一般的な商用APIよりも低レイテンシを実現し、実行中の安定したドキュメントランキングを確保し、研究用に自由に利用できる。
論文 参考訳（メタデータ） (2025-05-25T18:16:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。