論文の概要: EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
- arxiv url: http://arxiv.org/abs/2606.13120v1
- Date: Thu, 11 Jun 2026 09:48:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.708501
- Title: EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
- Title（参考訳）: EvoBrowseComp:知識の進化に基づく検索エージェントのベンチマーク
- Abstract要約: EvoBrowseCompは400の英語と400の中国語の複雑な質問のベンチマークである。
EvoBrowseCompは定期的に更新してデータの汚染を防ぐことができる。
自動更新可能でハイディフルトなベンチマークのためのスケーラブルなパラダイムを確立します。
- 参考スコア（独自算出の注目度）: 53.44952808455985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search Agents -- large language models augmented with search tools -- have intensified the need for future-proof evaluation benchmarks. Existing benchmarks such as BrowseComp rely on static knowledge, making them vulnerable to test-set contamination and parametric memorization. Consequently, models can achieve high scores through fact recall rather than genuine retrieval, obscuring true browsing competence via reasoning shortcuts. In this paper, we introduce EvoBrowseComp, an evolving benchmark of 400 English and 400 Chinese contamination-free complex questions synthesized via live-web traversal. To collect these questions, we design a three-agent collaborative framework: (1) a QA synthesis agent that retrieves fresh knowledge from the live web to synthesize QA pairs; (2) an information filtering agent that filters retrieved knowledge in terms of credibility and popularity to block parametric shortcuts; and (3) a high-level guidance agent that formalizes questions into reasoning graphs to reduce logical redundancy and shortcuts in synthesized QA pairs. Because the framework supports fully automated synthesis, EvoBrowseComp can be regularly updated to prevent data contamination and maintain temporal freshness. Extensive experiments confirm its great difficulty, requiring broad horizontal search. It establishes a scalable paradigm for auto-updatable, high-difficulty benchmarking that keeps pace with both evolving world knowledge and advancing agent capabilities.
- Abstract（参考訳）: 検索エージェント(検索ツールで強化された大きな言語モデル)は、将来的な評価ベンチマークの必要性を強めている。
BrowseCompのような既存のベンチマークは静的知識に依存しており、テストセットの汚染やパラメトリックの記憶に弱い。
その結果、モデルは真の検索ではなく事実のリコールによって高いスコアを得ることができ、推論ショートカットによって真のブラウジング能力は無視される。
本稿では,400の英語と400の中国語の汚染のない複雑な質問をライブウェブトラバーサルで合成するEvoBrowseCompを紹介する。
これらの質問を収集するために,(1)ライブWebから新しい知識を検索してQAペアを合成するQA合成エージェント,(2)信頼度と人気度で検索した知識をフィルタリングしてパラメトリックショートカットをブロックする情報フィルタリングエージェント,(3)質問を推論グラフに形式化し論理的冗長性とショートカットを減らすための高レベルのガイダンスエージェント,の3つを設計する。
フレームワークは完全に自動合成をサポートするため、EvoBrowseCompは定期的に更新され、データの汚染を防止し、一時的な更新性を維持することができる。
大規模な実験は、広範囲にわたる水平探索を必要とする、その大きな難しさを裏付けるものである。
それは、進化する世界の知識と進歩するエージェント能力の両方にペースを保ちながら、自動更新可能でハイディフルなベンチマークのためのスケーラブルなパラダイムを確立します。
関連論文リスト
- DuMate-DeepResearch: An Auditable Multi-Agent System with Recursive Search and Rubric-Grounded Reasoning [58.09293442211248]
Deep Research(DR)は、複雑でオープンな研究課題に取り組むための新しいエージェントパラダイムとして登場した。
本稿では,Qianfan Agent Foundry上に構築されたマルチエージェントDRフレームワークであるDuMate-DeepResearchを紹介する。
論文 参考訳（メタデータ） (2026-06-05T14:10:48Z) - Marco DeepResearch: Unlocking Efficient Deep Research Agents via Verification-Centric Design [39.31356016375221]
Marco DeepResearchは、検証中心のフレームワーク設計を3段階に最適化したディープリサーチエージェントである。
本稿では,質問の難易度を制御するために,グラフベースおよびエージェントベースQA合成に検証機構を導入する。
実験軌道に明示的な検証パターンを注入する検証駆動合成軌道法を設計する。
Marco DeepResearch自体を推論時に検証として使用し、課題に対するパフォーマンスを効果的に向上する。
論文 参考訳（メタデータ） (2026-03-30T12:42:02Z) - Evaluating the Search Agent in a Parallel World [28.24678964635285]
並列世界における検索エージェント評価フレームワークであるMind-ParaWorldを紹介する。
パラワールド・ロー・モデル(ParaWorld Law Model)は、不可分なアトミック・ファクトの集合と、各質問に対する独特な基礎構造を構築する。
評価中、現実世界の結果を取得する代わりに、エージェントはパラワールドモデルと対話する。
MPW-Benchは19のドメインと1,608のインスタンスにまたがる対話型ベンチマークです。
論文 参考訳（メタデータ） (2026-03-05T02:56:42Z) - AgentIR: Reasoning-Aware Retrieval for Deep Research Agents [76.29382561831105]
ディープリサーチエージェントは、各検索の前に明示的な自然言語推論を生成する。
Reasoning-Aware Retrievalは、クエリと一緒にエージェントの推論トレースを埋め込む。
DR-Synthは、標準的なQAデータセットからDeep Researchレトリバーのトレーニングデータを生成する。
AgentIR-4Bは、オープンウェイトエージェントであるTongyi-DeepResearchで68%の精度を達成する。
論文 参考訳（メタデータ） (2026-03-04T18:47:26Z) - SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback [68.60326181052658]
本稿では,高品質で難易度の高い探索問合せを自動生成するエージェントパイプラインを提案する。
我々のパイプラインであるSAGEは、QAペアを提案するデータジェネレータと、生成された質問を解決するための検索エージェントで構成される。
我々の本質的な評価は、SAGEが様々な推論戦略を必要とする質問を生成する一方で、生成したデータの正確性や難易度を著しく高めていることを示している。
論文 参考訳（メタデータ） (2026-01-26T06:37:56Z) - Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。
本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
論文 参考訳（メタデータ） (2026-01-08T08:13:27Z) - LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。
提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。
実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
論文 参考訳（メタデータ） (2025-11-03T10:00:49Z) - WebResearcher: Unleashing unbounded reasoning capability in Long-Horizon Agents [72.28593628378991]
WebResearcherは、マルコフ決定プロセスとしてディープリサーチを再構築する反復的なディープリサーチパラダイムである。
WebResearcherは最先端のパフォーマンスを実現し、フロンティアのプロプライエタリシステムを超えています。
論文 参考訳（メタデータ） (2025-09-16T17:57:17Z) - Open Data Synthesis For Deep Research [17.22470203913576]
我々は、階層的制約満足度問題として検証可能な回答でDeep Researchタスクを定式化する。
既存のベンチマーク(Natural Questions、HotpotQAなど)は、この複雑さを捉えていない。
スケーラブルでスケーラブルな複雑なDeep ResearchタスクであるInfoSeekを紹介します。
論文 参考訳（メタデータ） (2025-08-30T06:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。