論文の概要: WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
- arxiv url: http://arxiv.org/abs/2611.17955v1
- Date: Fri, 13 Nov 2026 09:44:48 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:56.121583
- Title: WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
- Title(参考訳): WebArena-Pro: Webエージェントのための不均一でマルチモーダルで再現可能なベンチマーク
- Abstract要約: WebArena-Proは、20のセルフホストWebアプリケーションにわたる300のタスクからなるベンチマークである。
GPT 6.1 Sol の Codex と Claude Code の Claude Opus 5.5 は 62.3%、OpenCode の Kimi 3.1 Pro は 60.7% である。
WebArena-Proは、音声とビデオを、テキストと視覚と共に中心的な観察として扱う。
- 参考スコア(独自算出の注目度): 129.23246325480372
- License:
- Abstract: Web agents powered by large language and vision-language models are increasingly applied to realistic browser work that spans heterogeneous applications, multimodal content, and stateful workflows. However, existing reproducible web-agent benchmarks cover only a small number of web applications drawn from a few software categories, and restrict modality to text and vision. Live benchmarks broaden site coverage but sacrifice reproducibility, since pages and data drift between runs. Moreover, existing benchmarks do not meaningfully evaluate whether agents can understand and use audio and video content embedded within web tasks. To address these gaps, we introduce WebArena-Pro, a benchmark comprising 300 tasks across 20 self-hosted web applications in six domain categories, spanning distinct interface conventions, workflows, and data models. Across the evaluated agents, the best performance is achieved by both Codex with GPT 6.1 Sol and Claude Code with Claude Opus 5.5 at 62.3%, followed by OpenCode with Kimi 3.1 Pro at 60.7%. The strongest GenericAgent configurations, Gemini 3.1 Pro omni and Gemma4 31B, both achieve 30.3%. Among reproducible, human-curated web agent benchmarks, WebArena-Pro provides the broadest application coverage and the most comprehensive multimodal support to date. The benchmark treats audio and video as core observations alongside text and vision, with dedicated actions for extracting information from each. WebArena-Pro runs each task in isolation and supports reproducible, parallel evaluation. Tasks are authored through a dedicated annotator interface, filtered by LLM-assisted triage, and finally validated by humans before release. Project page: https://webarena-pro.github.io
- Abstract(参考訳): 大きな言語とビジョン言語モデルを利用したWebエージェントは、異種アプリケーション、マルチモーダルコンテンツ、ステートフルなワークフローにまたがる現実的なブラウザ作業にますます適用されています。
しかしながら、既存の再現可能なWebエージェントベンチマークは、少数のソフトウェアカテゴリから引き出された少数のWebアプリケーションのみをカバーし、テキストとビジョンに対するモダリティを制限する。
ライブベンチマークはサイトカバレッジを拡大するが、ページと実行間のデータドリフトのため再現性を犠牲にする。
さらに、既存のベンチマークでは、エージェントがWebタスクに埋め込まれた音声やビデオのコンテンツを理解および使用できるかを有意義に評価していない。
これらのギャップに対処するために、WebArena-Proを紹介します。これは、20のセルフホストWebアプリケーションにまたがる300のタスクを6つのドメインカテゴリに分けたベンチマークで、インターフェースのコンベンション、ワークフロー、データモデルにまたがっています。
評価されたエージェント全体では、CodexとGPT 6.1 Sol、Claude Code、Claude Opus 5.5が62.3%、OpenCodeとKim 3.1 Proが60.7%で最高のパフォーマンスが達成されている。
最も強力なGenericAgent構成であるGemini 3.1 Pro omniとGemma4 31Bはどちらも30.3%を達成している。
再現可能な、人為的なWebエージェントベンチマークの中で、WebArena-Proは、最も広い範囲のアプリケーションカバレッジと、これまでで最も包括的なマルチモーダルサポートを提供する。
このベンチマークは、音声とビデオを、テキストと視覚と共に中心的な観察として扱い、それぞれから情報を取り出すための専用のアクションである。
WebArena-Proは、各タスクを分離して実行し、再現可能な並列評価をサポートする。
タスクは専用のアノテータインターフェースを通じて作成され、LCMアシストトリアージによってフィルタリングされ、最後にリリース前に人間によって検証される。
プロジェクトページ:https://webarena-pro.github.io
関連論文リスト
- BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。
BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。
ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
論文 参考訳(メタデータ) (2026-08-25T17:35:42Z) - Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement [45.813104201414326]
マルチラウンドリファインメントと不特定ユーザ意図を組み合わせたベンチマークであるAuka-Benchを提示する。
ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。
最強のモデルでさえ、3ラウンドの後にプロジェクトの52%しか完了していない。
論文 参考訳(メタデータ) (2026-06-04T09:24:30Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳(メタデータ) (2026-05-28T01:05:50Z) - MolmoWeb: Open Visual Web Agent and Open Data for the Open Web [60.29597961827816]
MolmoWebMixはブラウザのタスクとWeb-GUIの知覚データを組み合わせたものだ。
MolmoWeb-8Bは、完全にオープンなマルチモーダルWebエージェントのファミリーである。
我々は、Webエージェントのオープンな研究を可能にするため、モデルチェックポイント、トレーニングデータ、コード、統一された評価ハーネスをリリースする。
論文 参考訳(メタデータ) (2026-04-09T17:54:02Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳(メタデータ) (2025-09-29T12:38:06Z) - WebGen-Bench: Evaluating LLMs on Generating Interactive and Functional Websites from Scratch [35.609235867316734]
マルチファイルWebサイトをスクラッチから作成するLLMベースのエージェントの能力を測定するために設計された新しいベンチマークであるWebGen-Benchを紹介する。
ヒトアノテータとGPT-4oの併用によるWebサイト生成の多様な指示が含まれている。
我々は、GPT-4oを使用して、命令に記述された各機能をターゲットにしたテストケースを生成し、手動でフィルタリング、調整、整理を行い、精度を保証し、647のテストケースを作成します。
論文 参考訳(メタデータ) (2025-05-06T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。