論文の概要: AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents

• arxiv url: http://arxiv.org/abs/2609.09212v1
• Date: Sun, 06 Sep 2026 03:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.736344
• Title: AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents
• Title（参考訳）: AgentHijack:マルチモーダルコンピュータエージェントによるビジュアルパッチ攻撃
• Abstract要約: 本稿では,コンピュータ利用エージェント(CUA)に対する画像トリガーコマンドインジェクションのためのエンドツーエンド評価フレームワークを提案する。 目標は、スクリーンショット入力、VLM生成、アクション解析、環境実行の全チェーンに沿って、ローカルなビジュアルパッチが検証可能な環境効果を誘導できるかどうかをテストすることである。
• 参考スコア（独自算出の注目度）: 16.16124779587767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an end-to-end evaluation framework for image-triggered command injection against computer-use agents (CUAs). The goal is to test whether a local visual patch can induce verifiable environmental consequences along the full chain of screenshot input, VLM generation, action parsing, and environment execution. We train and deploy patches on author-controlled GitHub Pages pages and a locally deployed CSDN clone, and evaluate them in real environments across five open-source or publicly available GUI-agent or vision-language-model (VLM) backends. Our experiment aggregates 600 instance-level online cases, with T-ASR, TAPR, and E2E-ASR reaching 84.5%, 47.0%, and 20.3%, respectively. Trajectory analysis further shows that in some successful cases the agent first executes a malicious terminal command and then continues the original benign task. These results indicate that optimized local visual signals can affect not only VLM outputs but also propagate through the execution pipeline of open CUAs and create real environmental risk.
• Abstract（参考訳）: 本稿では,コンピュータ・ユース・エージェント(CUA)に対するイメージ・トリガー・コマンド・インジェクションのためのエンドツーエンド評価フレームワークを提案する。 目標は、スクリーンショット入力、VLM生成、アクション解析、環境実行の全チェーンに沿って、ローカルなビジュアルパッチが検証可能な環境効果を誘導できるかどうかをテストすることである。 著者が管理するGitHub PagesページとローカルにデプロイされたCSDNクローンのパッチをトレーニングし、デプロイします。 T-ASR, TAPR, E2E-ASRはそれぞれ84.5%, 47.0%, 20.3%であった。 軌道解析は、いくつかの成功した場合において、エージェントがまず悪意のある端末コマンドを実行し、次に元の良性タスクを継続することを示している。 これらの結果は、最適化された局所的な視覚信号がVLM出力に影響を与えるだけでなく、オープンCUAの実行パイプラインを介して伝播し、実際の環境リスクを生み出すことを示唆している。

関連論文リスト

• Training Needs Trustworthy Worlds: Verified Synthetic Web Environments for Agent Learning [48.88985618650394]
  私たちのフレームワークは、生成されたWebサイトを、ページ、ナビゲーションリンク、データベースレコード、状態変化マーカー、タスク制約の構造化された足場として表現します。 インタラクションの間、通常のUIトランジションは決定論的に実行されるが、永続的なバックエンド更新は、検証された状態変更マーカーによってのみ呼び出される。 6つの領域にまたがる500を超える合成環境において,タスクブロックの欠陥を低減し,48.6%から94.8%に改善した。
  論文  参考訳（メタデータ） (2026-08-22T10:18:45Z)
• VisualLeakBench: Reproducible Action-Boundary Propagation Failures in Vision-Language Agents [14.756677328512907]
  視覚言語エージェントは、メモリへの書き込み、メッセージの送信、外部ツールの呼び出しに先立って、スクリーンショット、ドキュメント、ユーザーインターフェースをますます消費する。 本研究では、画像から下流ツール引数に機密または安全でない可視テキストをコピーするアクション境界伝搬という、具体的な障害モードについて検討する。 私たちは、UI、チャット、ドキュメント、フォーム、ダッシュボードのシーンにまたがる、多様化した500イメージのベンチマークであるVisualLeakBenchを紹介します。
  論文  参考訳（メタデータ） (2026-05-29T05:17:03Z)
• AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
  我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。 MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。 本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
  論文  参考訳（メタデータ） (2026-05-25T11:09:22Z)
• LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection [18.354880541606004]
  LivePIは、プロダクション風だがテスト制御された環境でIPIリスクの構造化されたベンチマークである。 LivePIは7つの入力面、12の攻撃/レンダリングファミリー、5つの悪意のある目標をカバーしている。 グループチャットインジェクションは、デプロイメントにおいて評価されたバックボーン全体で均一に成功しています。
  論文  参考訳（メタデータ） (2026-05-18T07:41:35Z)
• AgentForge: Execution-Grounded Multi-Agent LLM Framework for Autonomous Software Engineering [3.2126925586839623]
  第一級原理として実行基盤検証を導入する。 我々はこの原理をマルチエージェントフレームワークである AgentFORGE でインスタンス化する。 AgentFORGEtokenはSWE-BENCH Lite上で40.0%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-04-13T13:51:13Z)
• Silent Egress: When Implicit Prompt Injection Makes LLM Agents Leak Without a Trace [0.0]
  自動生成されたURLプレビューに埋め込まれた敵対的命令は、サイレント・エクスプレスと呼ばれるシステムレベルのリスクをもたらす可能性があることを示す。 完全にローカルで再現可能なテストベッドを使用して、悪意のあるWebページがエージェントを誘導し、機密性の高いランタイムコンテキストを透過するアウトバウンドリクエストを発行できることを実証する。 qwen2.5:7bをベースとした480の実験では、攻撃は高い確率 (P (exress) =0.89) で成功し、95%の攻撃は出力ベースの安全チェックでは検出されない。
  論文  参考訳（メタデータ） (2026-02-25T22:26:23Z)
• WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning [51.14454312533818]
  WebGen-Agentは、包括的で多層的な視覚フィードバックを活用する新しいWebサイト生成エージェントである。 WebGen-Agent の推論エンジンとして機能する LLM の能力を向上させるために,Screenshot と GUI-Adnt Feedback を備えた textitStep-GRPO を導入している。 WebGen-Agent は Claude-3.5-Sonnet の精度を 26.4% から 51.9% に引き上げ、外観スコアを 3.0 から 3.9 に引き上げた。
  論文  参考訳（メタデータ） (2025-09-26T17:59:51Z)
• VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
  完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。 我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。 実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T05:21:50Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。