論文の概要: Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution

• arxiv url: http://arxiv.org/abs/2610.09240v1
• Date: Wed, 07 Oct 2026 00:05:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.650855
• Title: Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution
• Title（参考訳）: ビジュアルグラウンドからブラウザ実行までのWebエージェントをハイジャックする逆画像
• Abstract要約: 我々はWebMirageを紹介した。このフレームワークは、エージェントが攻撃者が制御したコンテンツを選択し、Webページのレンダリング全体にわたってブラウザアクションを実行するために、局所的な視覚的摂動を構築する。 WebMirageの攻撃成功率は91.9%であり、最強のベースラインでは17.4%であり、3つのエージェントレベル防衛に対して有効である。
• 参考スコア（独自算出の注目度）: 15.961999192471296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern web agents built on large vision-language models process webpages, select relevant UI elements, and translate model outputs into browser actions. Existing visual red-teaming approaches use adversarial visual content to manipulate this process. However, they primarily target model inference and do not explicitly account for structured input processing or action post-processing. Consequently, model-level success does not establish control over browser execution and cannot reliably characterize end-to-end agent robustness. To address this gap, we formulate red teaming for vision-grounded web agents as an end-to-end grounding-to-execution problem, and introduce WebMirage, a framework that crafts localized visual perturbations that cause agents to select attacker-controlled content and execute the corresponding browser action across varying webpage renderings. It uses a role-slot abstraction and webpage recomposition to capture competition among webpage elements, and dataflow analysis to align optimization with action post-processing. We evaluate WebMirage across four agent configurations and six VLM backbones on 2,250 tasks covering 13 public websites and a sandbox benchmark. WebMirage achieves an average attack success rate of 91.9%, compared with 17.4% for the strongest baseline, and remains effective against three agent-level defenses.
• Abstract（参考訳）: 大規模な視覚言語モデル上に構築されたモダンなWebエージェントは、Webページを処理し、関連するUI要素を選択し、モデルの出力をブラウザアクションに変換する。 既存のビジュアル・リピート・アプローチでは、逆ビジュアル・コンテンツを使ってこのプロセスを操作している。 しかし、それらは主にモデル推論をターゲットにしており、構造化された入力処理やアクション後処理を明示的に考慮していない。 その結果、モデルレベルの成功はブラウザ実行の制御を確立しておらず、エンドツーエンドエージェントの堅牢性を確実に特徴付けることはできない。 このギャップに対処するために、視覚障害者のWebエージェントをエンド・ツー・エンドのグラウンド・トゥ・エグゼクティブ問題としてレッド・チーム化し、様々なWebページレンダリングで対応するブラウザアクションを実行するために、エージェントが攻撃者によって制御されたコンテンツを選択させる局所的な視覚的摂動を構築するフレームワークであるWebMirageを導入する。 ロールスロットの抽象化とWebページの再構成を使用して、Webページ要素間の競合をキャプチャし、データフロー分析により、最適化とアクション後処理を整合させる。 我々は、13の公開ウェブサイトとサンドボックスベンチマークをカバーする2250のタスクに対して、4つのエージェント構成と6つのVLMバックボーンでWebMirageを評価した。 WebMirageの攻撃成功率は91.9%であり、最強のベースラインでは17.4%であり、3つのエージェントレベル防衛に対して有効である。

関連論文リスト

• BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
  BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。 BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。 ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
  論文  参考訳（メタデータ） (2026-08-25T17:35:42Z)
• CAP: A Scalable Benchmark for Evaluating Cross-Site Browser Agents with Complex Actions and Perception [22.620664364045286]
  大規模な言語モデルは、ブラウザを介してWebと対話する自律的なエージェントとして、ますます多くデプロイされている。 我々は、クロスサイト、ヒューマンライクなWebタスク上でブラウザエージェントを評価するためのスケーラブルなベンチマークであるCAPを紹介した。 108の現実世界のWebサイトと24のドメインに420のタスクを構築し、注意深く品質管理します。
  論文  参考訳（メタデータ） (2026-08-09T01:08:19Z)
• WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
  Webエージェントはインジェクション攻撃に対して非常に脆弱である。 システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。 本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
  論文  参考訳（メタデータ） (2026-04-14T04:50:35Z)
• FocusAgent: Simple Yet Effective Ways of Trimming the Large Context of Web Agents [76.12500510390439]
  大規模言語モデル(LLM)を利用したWebエージェントは、ユーザの目標を達成するために、長いWebページの観察を処理しなければならない。 既存のプルーニング戦略は、関連するコンテンツを捨てるか、無関係なコンテキストを保持するかのいずれかであり、最適以下の行動予測につながる。 FocusAgentは軽量LCMレトリバーを利用してアクセシビリティツリー(AxTree)観測から最も関連性の高い線を抽出するシンプルで効果的なアプローチである。
  論文  参考訳（メタデータ） (2025-10-03T17:41:30Z)
• BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks [51.803138848305814]
  我々はBrowserArenaを紹介した。BrowserArenaは、ユーザから送信されたタスクを収集するオープンソースのエージェント評価プラットフォームである。 Captcha解決、ポップアップバナー削除、URLへのダイレクトナビゲーションの3つの一貫した障害モードを特定します。 本研究は,Webエージェントの多様性と脆性の両方を明らかにする。
  論文  参考訳（メタデータ） (2025-10-02T15:22:21Z)
• WebInject: Prompt Injection Attack to Web Agents [40.8572462746505]
  マルチモーダル大言語モデル(MLLM)ベースのWebエージェントは、Webページのスクリーンショットに基づいてアクションを生成することにより、Webページ環境と対話する。 本稿では,Webエージェントを誘導して攻撃者特定アクションを実行するために,Webページ環境を操作するプロンプトインジェクション攻撃であるWebInjectを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:00:26Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。