論文の概要: EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
- arxiv url: http://arxiv.org/abs/2606.13120v1
- Date: Thu, 11 Jun 2026 09:48:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.708501
- Title: EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
- Title（参考訳）: EvoBrowseComp:知識の進化に基づく検索エージェントのベンチマーク
- Authors: Yunhan Wang, Jiaan Wang, Lianzhe Huang, Xianfeng Zeng, Fandong Meng,
- Abstract要約: EvoBrowseCompは400の英語と400の中国語の複雑な質問のベンチマークである。
EvoBrowseCompは定期的に更新してデータの汚染を防ぐことができる。
自動更新可能でハイディフルトなベンチマークのためのスケーラブルなパラダイムを確立します。
- 参考スコア（独自算出の注目度）: 53.44952808455985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search Agents -- large language models augmented with search tools -- have intensified the need for future-proof evaluation benchmarks. Existing benchmarks such as BrowseComp rely on static knowledge, making them vulnerable to test-set contamination and parametric memorization. Consequently, models can achieve high scores through fact recall rather than genuine retrieval, obscuring true browsing competence via reasoning shortcuts. In this paper, we introduce EvoBrowseComp, an evolving benchmark of 400 English and 400 Chinese contamination-free complex questions synthesized via live-web traversal. To collect these questions, we design a three-agent collaborative framework: (1) a QA synthesis agent that retrieves fresh knowledge from the live web to synthesize QA pairs; (2) an information filtering agent that filters retrieved knowledge in terms of credibility and popularity to block parametric shortcuts; and (3) a high-level guidance agent that formalizes questions into reasoning graphs to reduce logical redundancy and shortcuts in synthesized QA pairs. Because the framework supports fully automated synthesis, EvoBrowseComp can be regularly updated to prevent data contamination and maintain temporal freshness. Extensive experiments confirm its great difficulty, requiring broad horizontal search. It establishes a scalable paradigm for auto-updatable, high-difficulty benchmarking that keeps pace with both evolving world knowledge and advancing agent capabilities.
- Abstract（参考訳）: 検索エージェント(検索ツールで強化された大きな言語モデル)は、将来的な評価ベンチマークの必要性を強めている。
BrowseCompのような既存のベンチマークは静的知識に依存しており、テストセットの汚染やパラメトリックの記憶に弱い。
その結果、モデルは真の検索ではなく事実のリコールによって高いスコアを得ることができ、推論ショートカットによって真のブラウジング能力は無視される。
本稿では,400の英語と400の中国語の汚染のない複雑な質問をライブウェブトラバーサルで合成するEvoBrowseCompを紹介する。
これらの質問を収集するために,(1)ライブWebから新しい知識を検索してQAペアを合成するQA合成エージェント,(2)信頼度と人気度で検索した知識をフィルタリングしてパラメトリックショートカットをブロックする情報フィルタリングエージェント,(3)質問を推論グラフに形式化し論理的冗長性とショートカットを減らすための高レベルのガイダンスエージェント,の3つを設計する。
フレームワークは完全に自動合成をサポートするため、EvoBrowseCompは定期的に更新され、データの汚染を防止し、一時的な更新性を維持することができる。
大規模な実験は、広範囲にわたる水平探索を必要とする、その大きな難しさを裏付けるものである。
それは、進化する世界の知識と進歩するエージェント能力の両方にペースを保ちながら、自動更新可能でハイディフルなベンチマークのためのスケーラブルなパラダイムを確立します。
関連論文リスト
- Evaluating the Search Agent in a Parallel World [28.24678964635285]
並列世界における検索エージェント評価フレームワークであるMind-ParaWorldを紹介する。
パラワールド・ロー・モデル(ParaWorld Law Model)は、不可分なアトミック・ファクトの集合と、各質問に対する独特な基礎構造を構築する。
評価中、現実世界の結果を取得する代わりに、エージェントはパラワールドモデルと対話する。
MPW-Benchは19のドメインと1,608のインスタンスにまたがる対話型ベンチマークです。
論文 参考訳（メタデータ） (2026-03-05T02:56:42Z) - AgentIR: Reasoning-Aware Retrieval for Deep Research Agents [76.29382561831105]
ディープリサーチエージェントは、各検索の前に明示的な自然言語推論を生成する。
Reasoning-Aware Retrievalは、クエリと一緒にエージェントの推論トレースを埋め込む。
DR-Synthは、標準的なQAデータセットからDeep Researchレトリバーのトレーニングデータを生成する。
AgentIR-4Bは、オープンウェイトエージェントであるTongyi-DeepResearchで68%の精度を達成する。
論文 参考訳（メタデータ） (2026-03-04T18:47:26Z) - LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。
提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。
実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
論文 参考訳（メタデータ） (2025-11-03T10:00:49Z) - WebResearcher: Unleashing unbounded reasoning capability in Long-Horizon Agents [72.28593628378991]
WebResearcherは、マルコフ決定プロセスとしてディープリサーチを再構築する反復的なディープリサーチパラダイムである。
WebResearcherは最先端のパフォーマンスを実現し、フロンティアのプロプライエタリシステムを超えています。
論文 参考訳（メタデータ） (2025-09-16T17:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。