論文の概要: What Does "Now" Mean to Your Computer-Use Agent? Stale Screenshots, Page Loads, and Which Check to Run Before a Click
- arxiv url: http://arxiv.org/abs/2610.39282v1
- Date: Thu, 29 Oct 2026 03:33:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.037316
- Title: What Does "Now" Mean to Your Computer-Use Agent? Stale Screenshots, Page Loads, and Which Check to Run Before a Click
- Title（参考訳）: コンピューター利用エージェントに「今」とは何か? スクリーンショット、ページ読み込み、クリックする前にどのチェックを実行するか
- Abstract要約: 31の公開Webページで計画されたクリックを計測すると、そのリスクはページの読み込みにあることが分かる。
我々は、ベンチマークジェネレータ、チェックが支払ったときのブレーク均等式、エージェント開発者のための3つのルールをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Computer-use agents plan on a screenshot for several seconds and then click at a position on the screen; if the page has changed in the meantime, the click lands on an unintended element. Prior work treats the planning interval as the source of this risk. Measuring planned clicks on 31 public web pages, we find that the risk lies in page loading: 0.4% of clicks planned on fully loaded pages became stale within 30 seconds, against 17% of clicks planned in the first second after a page opened. On these pages, waiting about one second for network activity to stop removes most of this risk, yet the wait rules of eight of ten widely used open-source agents leave more than 1% of clicks stale. Commercial pages keep loading for longer: in the HTTP Archive's public crawl, 15% of 65 desktop booking and buying home pages went 500 ms without network requests within 3 seconds of their HTML being parsed, against 63% of 3,028 .gov pages, and 52% shifted their layout within 6.5 seconds of a network-idle wait capped at 3 seconds, against 8% (61% against 26% among pages recorded in full). Where a check before the click is needed, as before irreversible actions and on pages that are still loading, a pixel comparison verifies the target's position as accurately as a frontier vision-language model at one eighth of the latency, and a 4B model matches the frontier model in verifying whether the previous action succeeded. We release a benchmark generator, a break-even formula for when a check pays, and three rules for agent developers: https://github.com/multimodal-ai-engineering/preflight-bench
- Abstract（参考訳）: コンピュータ利用エージェントはスクリーンショットを数秒間計画し、画面上の位置をクリックします。その間にページが変更された場合、クリックは意図しない要素に着地します。
以前の作業では、このリスクの源泉として計画期間を扱います。
完全にロードされたページで計画されたクリックの0.4%が30秒以内に停滞し、ページが開いた最初の秒で計画されたクリックの17%が停止した。
これらのページでは、ネットワークアクティビティが停止するまで1秒ほど待つと、このリスクの大部分を取り除きますが、広く使用されている10のオープンソースエージェントのうち8つの待機ルールは、1%以上のクリックが停滞しています。
HTTP Archiveの公開クロールでは、65のデスクトップ予約とホームページの購入の15%が、HTMLが解析されてから3秒以内に、ネットワーク要求なしで500msになった。
52%はネットワークアイドルが3秒で圧縮された6.5秒以内にレイアウトを8%(全ページの26%に対して61%)に変更した。
クリック前のチェックが必要な場合、非可逆的なアクションやまだロードされているページのように、ピクセル比較は、遅延の8分の1でフロンティア視覚言語モデルと同じくらい正確に目標の位置を検証し、4Bモデルは、前のアクションが成功したかどうかを検証するフロンティアモデルと一致する。
ベンチマークジェネレータ、チェックが支払われたときの休憩時間式、エージェント開発者のための3つのルールをリリースします。
関連論文リスト
- ProductWebBench: Evaluating Website Continuity Beyond Task Completion [36.75409331518431]
ProductWebBenchは、生きたリポジトリで両方のスコアを付けるベンチマークである。
ターゲットだけでなく、着陸した生体システムに対してパッチを採点する。
論文 参考訳（メタデータ） (2026-10-22T11:33:00Z) - BrowseSafe++: Benchmarking Prompt Injection Detection Across Web Contexts, Languages, and Browser Views [9.895930642502169]
BrowseSafe++は、BrowseSafeを14,719ページから38,675ページまで拡張します。
プロンプトインジェクションのほとんどは、本番Webサイトで観察されました。各インジェクションは変更せず、その周りの機密部分を書き直して、プライバシを保護します。
ベンチマークには、ニュース記事から共有ドキュメント、フォーラムまで、12種類のWebサイトが含まれており、24の攻撃タイプが1ページに18の異なる場所に表示される。
どちらもフロンティアモデルに基づく検出器よりも高いF1スコアを達成すると同時に、良質なページに対する偽陽性率と推論コストを低く保っている。
論文 参考訳（メタデータ） (2026-10-12T22:17:51Z) - APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces [81.48656398420874]
我々は、金融、コンサルティング、法的タスクを行うエージェントに対して、プロンプトとスクリプトインジェクションを評価するためのベンチマークであるAPEX-Harmを紹介する。
各タスクには、メール、カレンダー、チャット、ドキュメント、スプレッドシート、PDF、コード実行ツールとともに、115から328のファイルが含まれている。
ベンチマークには、静的および動的インジェクション、タスク固有のスクリプト置換、アタッカーが提供するジェネリックスクリプトを含む6つのアタックカテゴリが含まれている。
論文 参考訳（メタデータ） (2026-10-09T14:05:47Z) - Probe to Act: Elevating Browser-Use Agent via Active Visual Probing [73.6013940895953]
Probe to Act (P2A) はブラウザエージェントループのアクティブなプロブリングフレームワークである。
シンボリックDOM仮説とスクリーンショットレイアウトの間の非対称ブリッジに対処する。
P2Aは、標準のDOM+SoMインタフェースの下でプロプライエタリなモデルのプロンプト戦略として使用できる。
論文 参考訳（メタデータ） (2026-09-27T15:11:30Z) - BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。
BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。
ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
論文 参考訳（メタデータ） (2026-08-25T17:35:42Z) - Fetch-then-Explore: Decoupling Selection from Extraction over a Persistent Workspace for Search Agents [60.97609995940902]
検索エージェントに対して textbfFetch-then-Explore を提案する。
ページ選択とエビデンス抽出を分離し、選択したものを保持する。
これは、すべてのバックボーンでBrowseCompの精度を導き、一般的にWideSearchのベースラインと一致するか、超える。
論文 参考訳（メタデータ） (2026-08-03T11:58:21Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。
そのメインエージェントは、コードを使用してプログラム状態と直接連携する。
専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
論文 参考訳（メタデータ） (2026-07-24T14:17:03Z) - Web Agents Should Adopt the Plan-Then-Execute Paradigm [9.920367562132336]
我々は、WebエージェントがデフォルトでReActではなく plan-then-executeにすべきであると主張している。
信頼できないデータは、事前に定義された実行グラフ内の値やブランチに影響を与える可能性がある。
我々は、Web上でプラン-then-executeを採用する上での主要な障壁を特定します。
論文 参考訳（メタデータ） (2026-05-14T02:48:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。