論文の概要: WebRetriever: A Large-Scale Comprehensive Benchmark for Efficient Web Agent Evaluation
- arxiv url: http://arxiv.org/abs/2607.06118v1
- Date: Tue, 07 Jul 2026 10:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.494222
- Title: WebRetriever: A Large-Scale Comprehensive Benchmark for Efficient Web Agent Evaluation
- Title（参考訳）: WebRetriever: 効率的なWebエージェント評価のための大規模総合ベンチマーク
- Abstract要約: Webエージェントは、タスクの自動実行の能力をますます示しています。
既存のベンチマークでは、スケールが不十分で、ドメインの多様性が制限されている。
800のWebサイトと1,550のタスクを含む大規模なベンチマークであるWebRetrieverを紹介します。
- 参考スコア（独自算出の注目度）: 26.889929086766003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As web agents increasingly demonstrate capabilities in automated task execution, the development of robust evaluation frameworks for assessing their navigation and task completion performance has emerged as a critical research priority. However, existing benchmarks exhibit fundamental limitations. First, they suffer from insufficient scale and limited domain diversity, constraining comprehensive evaluation of cross-domain generalization. Second, prevailing LLM-as-Judge evaluation methodologies inadequately capture fine-grained interaction semantics, particularly regarding precise query formulation and filtering operations. Third, current benchmarks predominantly emphasize navigation success metrics while neglecting critical requirements for real-world deployment scenarios. To address these limitations, we introduce WebRetriever, a large-scale benchmark encompassing 800 websites and 1,550 tasks across diverse domains, including consumer, professional, and enterprise sectors, with comprehensive coverage of user intent patterns. We propose NavEval (Navigation Evaluation), a novel LLM-as-Judge framework that leverages rich interaction context beyond visual screenshots, achieving state-of-the-art alignment with human judgment across multiple evaluation datasets. Furthermore, we establish three complementary evaluation protocols that collectively provide holistic assessment of web agent capabilities: navigation proficiency, knowledge-assisted interaction, and end-to-end task completion with information extraction. Extensive experimental analysis reveals substantial performance disparities across evaluation protocols, demonstrating that navigation success alone is an insufficient predictor of real-world application effectiveness. WebRetriever delivers fine-grained diagnostic insights into agent capabilities and establishes a rigorous foundation for advancing web agent research and development.
- Abstract（参考訳）: Webエージェントがタスクの自動実行の能力をますます示すようになるにつれて、ナビゲーションとタスク完了性能を評価するための堅牢な評価フレームワークの開発が重要研究の優先事項となっている。
しかし、既存のベンチマークには根本的な制限がある。
第一に、それらは不十分なスケールと制限されたドメイン多様性に悩まされ、クロスドメインの一般化の包括的な評価を制約する。
第二に、LLM-as-Judge評価手法は、特にクエリの正確な定式化とフィルタリング操作に関して、きめ細かい相互作用のセマンティクスを適切に捉えていない。
第3に,現在のベンチマークでは,現実のデプロイメントシナリオに対する重要な要件を無視しながら,ナビゲーション成功の指標に重点を置いている。
この制限に対処するため、WebRetrieverは、コンシューマ、プロフェッショナル、エンタプライズを含むさまざまな分野にまたがる800のWebサイトと1,550のタスクを含む大規模なベンチマークで、ユーザ意図のパターンを包括的にカバーしています。
視覚的なスクリーンショットを超えてリッチなインタラクションコンテキストを活用する新しいLCM-as-JudgeフレームワークであるNavEval(ナビゲーション・アセスメント・アセスメント・アセスメント)を提案する。
さらに,ナビゲーション能力,知識支援インタラクション,情報抽出によるエンドツーエンドタスク完了という,Webエージェントの総合的な評価を行うための3つの補完的評価プロトコルを確立する。
広汎な実験分析により評価プロトコル間の性能格差が明らかとなり,ナビゲーションの成功だけでは現実のアプリケーションの有効性の予測には不十分であることが証明された。
WebRetrieverは、エージェント機能に関する詳細な診断情報を提供し、Webエージェントの研究と開発を進めるための厳格な基盤を確立する。
関連論文リスト
- CAP: A Scalable Benchmark for Evaluating Cross-Site Browser Agents with Complex Actions and Perception [22.620664364045286]
大規模な言語モデルは、ブラウザを介してWebと対話する自律的なエージェントとして、ますます多くデプロイされている。
我々は、クロスサイト、ヒューマンライクなWebタスク上でブラウザエージェントを評価するためのスケーラブルなベンチマークであるCAPを紹介した。
108の現実世界のWebサイトと24のドメインに420のタスクを構築し、注意深く品質管理します。
論文 参考訳（メタデータ） (2026-08-09T01:08:19Z) - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳（メタデータ） (2026-05-28T01:05:50Z) - MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。
ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。
提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
論文 参考訳（メタデータ） (2026-03-30T13:16:03Z) - Scaling Web Agent Training through Automatic Data Generation and Fine-grained Evaluation [54.945281159783896]
Webエージェントのための高品質なトレーニングデータを自動的に生成するスケーラブルなパイプラインを提案する。
本稿では,タスク完了に向けた進捗のきめ細かい評価を提供する制約に基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-13T02:52:18Z) - Benchmarking Agents in Insurance Underwriting Environments [0.9728664856449597]
既存のベンチマークは、コードのようなオープンドメインを過度に強調し、狭い精度のメトリクスを使い、真の複雑さを欠いている。
我々は、ドメインエキスパートとの密接なコラボレーションのために設計された、専門家優先のマルチターン保険書記ベンチマークUNDERWRITEを提案する。
論文 参考訳（メタデータ） (2026-01-31T02:12:11Z) - DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents [10.197402632091551]
DeepSearchQAは、難しい多段階情報検索タスクのエージェントを評価する900プロンプトのベンチマークである。
このデータセットは、エージェントが複雑な検索計画を実行し、完全な回答リストを生成する能力を評価するように設計されている。
論文 参考訳（メタデータ） (2026-01-28T19:20:47Z) - WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。
WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。
詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
論文 参考訳（メタデータ） (2025-10-21T12:16:04Z) - REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites [9.58858258192147]
実世界のWebサイトの決定論的シミュレーションにおけるマルチターンエージェント評価のためのベンチマークおよびフレームワークであるREALを紹介する。
また、日々の複雑なユーザインタラクションを反映した112の実践的なタスクからなるベンチマークもリリースしています。
我々のフレームワークは、新しいタスクの容易な統合、再現可能な評価、スケーラブルな後学習データ生成をサポートします。
論文 参考訳（メタデータ） (2025-04-15T18:22:55Z) - An Illusion of Progress? Assessing the Current State of Web Agents [61.742657650092845]
我々は,Webエージェントの現状を包括的かつ厳密に評価する。
結果は、現在のエージェントの能力の非常に異なる描写を描いており、以前報告された結果に過度に最適化されていることを示唆している。
オンライン評価ベンチマークであるOnline-Mind2Webを紹介した。
論文 参考訳（メタデータ） (2025-04-02T05:51:29Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。