論文の概要: WebPageBench: Event-Level Verification and Controlled UI-Variant Generation for Web Agents
- arxiv url: http://arxiv.org/abs/2609.35026v1
- Date: Mon, 28 Sep 2026 12:24:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 17:42:14.098501
- Title: WebPageBench: Event-Level Verification and Controlled UI-Variant Generation for Web Agents
- Title（参考訳）: WebPageBench: Webエージェントのためのイベントレベル検証と制御UIバリアント生成
- Abstract要約: WebPageBenchは、Webエージェントを評価するためのオープンフレームワークである。
タスクは必要なイベントを宣言し、それらをマッチングすることで成功を判断する。
WebPageBenchリリースは3つのコンポーネントで構成されている。152のタスクは65の標準シナリオと87のコントロールバリアントで構成され、一般的なランナーは6つのブラウザ/DOMハーネス構成と5つのスクリーンショットのみのGUIエージェントファミリーで評価されている。
- 参考スコア（独自算出の注目度）: 1.8815818434142664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present WebPageBench, an open framework for evaluating web agents in which every task is verified from the interface's own event log. Six instrumented mock sites with brand identifiers removed (a marketplace, a bookstore, a grocery service, rail ticketing, hotel search and a document cabinet) emit typed events with parameters as a user or an agent acts. A task declares the events it requires, and success is decided by matching them, with no judge model and no scraping of rendered pages. The same instrumentation supports controlled UI variation: one configuration switch re-renders a task through a different implementation of a single control while the prompt and the success conditions stay completely identical, so sensitivity to interface form can be measured under a fixed task specification. The WebPageBench release consists of three components: 152 tasks, divided into 65 canonical scenarios and 87 control variants across light/dark UI-modes; a common runner evaluated with six browser/DOM harness configurations and five screenshot-only GUI-agent families; and a public leaderboard of 24 model-harness pairs. On the public 152-task leaderboard the gap between what agents declare finished and what the log confirms reaches 41 points (one configuration declares every task finished and satisfies the conditions on 59%).
- Abstract（参考訳）: WebPageBenchは、Webエージェントを評価するオープンフレームワークで、すべてのタスクがインターフェイスのイベントログから検証される。
ブランド識別子を除去した6つのモックサイト(市場、書店、食料品サービス、鉄道チケット、ホテル検索、文書キャビネット)は、ユーザまたはエージェントの行動としてパラメーターを入力したイベントを発行する。
タスクは必要なイベントを宣言し、それらをマッチングすることで成功を判断する。
ひとつの設定スイッチは、ひとつのコントロールの異なる実装を通じてタスクを再レンダリングするが、プロンプトと成功条件は完全に同一であり、インターフェイスフォームに対する感度は、固定されたタスク仕様の下で測定できる。
WebPageBenchリリースは3つのコンポーネントで構成されている。152のタスクは65の標準シナリオと87のコントロールバリアントで構成され、一般的なランナーは6つのブラウザ/DOMハーネス構成と5つのスクリーンショットのみのGUIエージェントファミリーで評価されている。
公開の152タスクのリーダーボードでは、エージェントの宣言とログの確認との間のギャップが41ポイントに達する(ひとつの設定では、すべてのタスクが完了し、59%の条件を満たす)。
関連論文リスト
- One Rollout Is All You Get: Fully Test-Time Adaptation for GUI Agents [15.677861196375881]
GUIエージェントは凍結した重量でデプロイされ、仕事で経験したすべてのものを破棄します。
これらの制約によりGUIエージェントの完全なテスト時間適応を定義し、最小の重み空間法であるSOLOと組み合わせる。
WebArena、VisualWebArena、MobileWorldから構築された繰り返しタスクストリームでは、UI-TARS-7BとQwen3-VL-8Bの両方でフリーズエージェントを3～6ポイント改善し、Webストリーム上で2つのインセットメモリメソッドを超える。
論文 参考訳（メタデータ） (2026-09-28T05:00:45Z) - One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows [2.281697288703173]
Thinkingboxはツールエージェントとユーザインタラクションのためのサンドボックスだ。
独立したMPP互換ツールセッション、完全な実行トレース、端末バックエンドに対する結果評価を提供する。
Thinkingboxbenchには、さまざまなシナリオにわたる507のベンチマークとステートコンディションベンチマークが含まれている。
論文 参考訳（メタデータ） (2026-08-20T07:37:57Z) - UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
論文 参考訳（メタデータ） (2026-08-16T20:59:59Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement [45.813104201414326]
マルチラウンドリファインメントと不特定ユーザ意図を組み合わせたベンチマークであるAuka-Benchを提示する。
ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。
最強のモデルでさえ、3ラウンドの後にプロジェクトの52%しか完了していない。
論文 参考訳（メタデータ） (2026-06-04T09:24:30Z) - SentinelBench: A Benchmark for Long-Running Monitoring Agents [20.69666656998877]
SentinelBenchは、時間進化モニタリングタスクのためのオープンソースのベンチマークである。
メール、カレンダー、ファイナンス、プロフェッショナルネットワーキング、エンターテイメントなど10の合成ウェブ環境に100のタスクがある。
タスク完了、反応時間、リソース使用量を計測し、応答性とコストのトレードオフを明らかにする。
論文 参考訳（メタデータ） (2026-06-03T18:32:00Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - GTA1: GUI Test-time Scaling Agent [97.58177633084915]
グラフィカルユーザインタフェース(GUI)は、ユーザ命令をアクションプロポーザルに順次分解することで、プラットフォーム(例えばLinux)間で自律的にタスクを完了させる。
本稿では,前述の textbfGUI textbfTest-time Scaling textbfAgent,すなわち GTA1 の課題について検討する。
論文 参考訳（メタデータ） (2025-07-08T08:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。