論文の概要: Constructing Challenging Browser-Use Tasks by Controlled Environment Interventions

• arxiv url: http://arxiv.org/abs/2609.35814v1
• Date: Sun, 20 Sep 2026 16:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.849036
• Title: Constructing Challenging Browser-Use Tasks by Controlled Environment Interventions
• Title（参考訳）: 環境干渉によるブラウザ利用タスクの構成
• Abstract要約: BreakingWebは、すべてのベースタスクと、ユーザ命令、潜在ターゲット、およびバックエンド成功基準を保存する介入条件をペアリングする。 介入により、エージェントのパスレートが平均で22.9%削減され、各エージェントがきれいに解決するタスクのほぼ半分が覆われた。 6人のエージェントの失敗の75%は、要求された変更は起こらなかったが、宣言された成功で終わった。
• 参考スコア（独自算出の注目度）: 26.059682236331728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As browser-use agents improve, benchmarks keep pace by collecting new tasks, websites, and applications, often making tasks longer or more novel. This makes difficulty expensive to refresh and difficult to control: when many aspects change at once, it is unclear what actually makes a task challenging. We instead construct challenging instances from tasks agents already solve, turning difficulty into a programmable property of the environment. BreakingWeb pairs every base task with an intervention condition that preserves the user instruction, latent target, and backend success criterion while changing the environment at different web stack layers. Each intervention is deterministic, detectable, and recoverable, and is annotated with the cognitive primitive it primarily loads. The benchmark contains 519 clean/intervention task pairs across seven self-hosted websites and 29 intervention families, all graded against outcomes. We evaluate six strong browser-use agents, three GUI-only agents that see only screenshots, and humans. The construction is effective: interventions cut agent pass rate by 22.9% on average and overturn nearly half of the tasks each agent solves cleanly, whereas humans lose 10.0% on a first attempt and 5.7% after one familiarisation attempt. The dominant failure is belief failure: 75% of the six agents' failures end with a declared success although the required change never happened. Our code, data and environment are publicly available at www.breakingweb.app.
• Abstract（参考訳）: ブラウザ利用エージェントが向上するにつれて、ベンチマークは新しいタスクやWebサイト、アプリケーションの収集によってペースを保ち、多くの場合、タスクを長く、あるいはより新しくする。 これにより、リフレッシュが難しく、コントロールが難しくなります。多くのアスペクトが一度に変更されると、何が実際にタスクを困難にしているのかは不明です。 代わりに、すでに解決しているタスクエージェントから挑戦的なインスタンスを構築し、難易度を環境のプログラム可能なプロパティに変換する。 Web のブレークスルーは、異なる Web スタック層で環境を変更しながら、ユーザの命令、潜在目標、およびバックエンドの成功基準を保存する介入条件と、すべてのベースタスクをペアリングする。 それぞれの介入は決定論的であり、検出可能で、回復可能であり、主にロードする認知的プリミティブと注釈付けされている。 ベンチマークには、7つのセルフホストWebサイトと29の介入ファミリーで519のクリーン/インターベンションタスクペアが含まれている。 ブラウザ用の強力なエージェント6つ,スクリーンショットのみを表示するGUI専用エージェント3つ,人間を評価した。 介入は平均で22.9%削減し、各エージェントがクリーンに解決するタスクのほぼ半分を覆い、一方、ヒトは1回の試みで10.0%、使い慣れた試みで5.7%を失う。 6人のエージェントの失敗の75%は、要求された変更は起こらなかったが、宣言された成功で終わる。 私たちのコード、データ、環境はwww.breakingweb.appで公開されています。

関連論文リスト

• SentinelBench: A Benchmark for Long-Running Monitoring Agents [20.69666656998877]
  SentinelBenchは、時間進化モニタリングタスクのためのオープンソースのベンチマークである。 メール、カレンダー、ファイナンス、プロフェッショナルネットワーキング、エンターテイメントなど10の合成ウェブ環境に100のタスクがある。 タスク完了、反応時間、リソース使用量を計測し、応答性とコストのトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2026-06-03T18:32:00Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• On the Reliability of Computer Use Agents [47.20065484006984]
  コンピュータ利用エージェントの信頼性の低下の原因を3つの要因から検討する。 信頼性は、タスクの指定方法と、エージェントの動作が実行毎に変化する方法の両方に依存します。
  論文  参考訳（メタデータ） (2026-04-20T05:59:04Z)
• Adaptive Manipulation using Behavior Trees [12.061325774210392]
  本稿では,適応的行動木,スケーラブルで一般化可能な行動木の設計について述べる。 ロボットは、タスク実行中に視覚的観察と非視覚的観察の両方から素早く適応し、学習することができる。 当社のアプローチは、業界で一般的に見られるさまざまなタスクでテストしています。
  論文  参考訳（メタデータ） (2024-06-20T18:01:36Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• WebSuite: Systematically Evaluating Why Web Agents Fail [2.200477647229223]
  我々は、ジェネラリストWebエージェントの最初の診断ベンチマークであるWebSuiteについて説明する。 このベンチマークスイートは、ボタンをクリックするなどの個々のタスクと、カートにアイテムを追加するなどのエンドツーエンドタスクの両方で構成されている。 我々は、テキストベースとマルチモーダルの2つの一般的なジェネラリストWebエージェントを評価し、各エージェントに固有の弱点を特定する。
  論文  参考訳（メタデータ） (2024-06-01T00:32:26Z)
• WebArena: A Realistic Web Environment for Building Autonomous Agents [92.3291458543633]
  我々は、非常に現実的で再現可能な言語誘導エージェントのための環境を構築する。 我々は,Web上でタスクを実行するエージェントに着目し,4つの共通ドメインから完全に機能するWebサイトを持つ環境を構築する。 タスク完了の関数的正しさを評価することに焦点を当てたベンチマークタスクのセットをリリースする。
  論文  参考訳（メタデータ） (2023-07-25T22:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。