論文の概要: Visual Confused Deputy: Exploiting and Defending Perception Failures in Computer-Using Agents
- arxiv url: http://arxiv.org/abs/2603.14707v1
- Date: Mon, 16 Mar 2026 01:31:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.98149
- Title: Visual Confused Deputy: Exploiting and Defending Perception Failures in Computer-Using Agents
- Title（参考訳）: 視覚障害者副官:コンピュータ使用エージェントの爆発と知覚障害の予防
- Abstract要約: コンピュータ利用エージェント(CUA)はグラフィカルユーザインタフェースに直接作用するが、画面に対する認識は信頼できないことが多い。
我々は、エージェントが誤認識された画面状態に基づいてアクションを認可する障害モードである視覚的混乱副産物を形式化する。
この脅威を軽減するため,エージェントの知覚ループ外で動作する最初のガードレールを提案する。
- 参考スコア（独自算出の注目度）: 9.457255218406333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computer-using agents (CUAs) act directly on graphical user interfaces, yet their perception of the screen is often unreliable. Existing work largely treats these failures as performance limitations, asking whether an action succeeds, rather than whether the agent is acting on the correct object at all. We argue that this is fundamentally a security problem. We formalize the visual confused deputy: a failure mode in which an agent authorizes an action based on a misperceived screen state, due to grounding errors, adversarial screenshot manipulation, or time-of-check-to-time-of-use (TOCTOU) races. This gap is practically exploitable: even simple screen-level manipulations can redirect routine clicks into privileged actions while remaining indistinguishable from ordinary agent mistakes. To mitigate this threat, we propose the first guardrail that operates outside the agent's perceptual loop. Our method, dual-channel contrastive classification, independently evaluates (1) the visual click target and (2) the agent's reasoning about the action against deployment-specific knowledge bases, and blocks execution if either channel indicates risk. The key insight is that these two channels capture complementary failure modes: visual evidence detects target-level mismatches, while textual reasoning reveals dangerous intent behind visually innocuous controls. Across controlled attacks, real GUI screenshots, and agent traces, the combined guardrail consistently outperforms either channel alone. Our results suggest that CUA safety requires not only better action generation, but independent verification of what the agent believes it is clicking and why. Materials are provided\footnote{Model, benchmark, and code: https://github.com/vllm-project/semantic-router}.
- Abstract（参考訳）: コンピュータ利用エージェント(CUA)はグラフィカルユーザインタフェースに直接作用するが、画面に対する認識は信頼できないことが多い。
既存の作業は、エージェントが正しいオブジェクトに作用しているかどうかではなく、アクションが成功するかどうかを問うことで、これらの障害をパフォーマンス上の制限として扱う。
これは基本的にセキュリティの問題だ、と私たちは主張する。
エージェントが誤認識された画面状態に基づいて動作を許可する障害モード、すなわち、エラーの根拠付け、逆スクリーンショット操作、タイム・オブ・タイム・オブ・ユース(TOCTOU)レースを定式化する。
単純なスクリーンレベルの操作でも、通常のエージェントのミスと区別できないまま、通常のクリックを特権的なアクションにリダイレクトすることができる。
この脅威を軽減するため,エージェントの知覚ループ外で動作する最初のガードレールを提案する。
本手法は,(1)視覚的クリック目標と(2)デプロイ固有の知識ベースに対するエージェントの推論を独立に評価し,いずれかのチャネルがリスクを示す場合の実行をブロックする。
視覚的証拠は目標レベルのミスマッチを検出し、テキスト推論は視覚的に無害な制御の背後にある危険な意図を明らかにします。
コントロールされたアタック、実際のGUIスクリーンショット、エージェントトレースなどを通じて、組み合わせたガードレールは、チャンネル単独で一貫してパフォーマンスが向上する。
以上の結果から,CUAの安全性は,より優れたアクション生成だけでなく,エージェントがクリックしていると考えるものや理由の独立した検証が必要であることが示唆された。
材料は https://github.com/vllm-project/semantic-router} である。
関連論文リスト
- SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - Twin Agent: Context Residual Compression for Privilege Separated Agents [18.474974915236245]
大規模言語モデル(LLM)エージェントは、信頼できないコンテキストからのインジェクション攻撃などのセキュリティリスクに対して脆弱である。
エージェントコンテキストにおける残差符号化にインスパイアされた汎用的な特権分離設計パターンであるツインエージェントを提案する。
我々は、SWE-bench Liteを用いた長期ソフトウェアエンジニアリングタスクと、AgentDojoとDecodingTrust-Agentを用いた異種マルチツールインタラクションタスクについて、Twin Agentを評価した。
論文 参考訳（メタデータ） (2026-07-21T21:47:52Z) - Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。
このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。
本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
論文 参考訳（メタデータ） (2026-07-08T14:38:01Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
Webエージェントはインジェクション攻撃に対して非常に脆弱である。
システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。
本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
論文 参考訳（メタデータ） (2026-04-14T04:50:35Z) - AgentWall: A Runtime Safety Layer for Local AI Agents [0.0]
AgentWallは、ローカルAIエージェントのランタイム安全性と可観測性レイヤである。
ホスト環境に到達する前に提案されたすべてのエージェントアクションをインターセプトし、明示的な宣言的なポリシーで評価し、機密性の高い操作に対して人間の承認を必要とし、監査と再生のための完全な実行パスを記録します。
本稿では,AgentWallの設計,アーキテクチャ,脅威モデル,およびポリシーモデルについて述べる。
論文 参考訳（メタデータ） (2026-03-24T11:39:35Z) - AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents [18.82273534480229]
モバイルグラフィカルユーザインタフェース(GUI)エージェントは、アプリケーションとオペレーティングシステム(OS)を自律的に制御する
本稿では,視覚的に自然なトリガを用いたモバイルGUIエージェントにおけるリモートアクション実行を誘導する新しいバックドアアタックであるAgentRAEを提案する。
評価の結果,提案したバックドアは10個のモバイル操作に対して90%以上の攻撃成功率でクリーンな性能を保っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-24T09:51:43Z) - Atomicity for Agents: Exposing, Exploiting, and Mitigating TOCTOU Vulnerabilities in Browser-Use Agents [15.381306470663695]
ブラウザ利用エージェントにおけるTOCTOU脆弱性に関する大規模な実証的研究を行った。
動的または敵対的なWebコンテンツは、意図しないアクションを誘発するためにこのウィンドウを利用することができる。
我々は、事前実行検証に基づく軽量な緩和を設計する。
論文 参考訳（メタデータ） (2026-02-28T05:25:03Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - Blind Gods and Broken Screens: Architecting a Secure, Intent-Centric Mobile Agent Operating System [30.443894673057816]
我々は,Doubao Mobile Assistantを用いて,最先端のモバイルエージェントのシステムセキュリティ分析を行う。
我々は脅威の風景をエージェントアイデンティティ、外部インタフェース、内部推論、アクション実行の4つの次元に分解する。
クリーンスレート安全なエージェントOSであるAuraを提案する。
論文 参考訳（メタデータ） (2026-02-11T14:52:27Z) - Zero-Permission Manipulation: Can We Trust Large Multimodal Model Powered GUI Agents? [6.9619059967556725]
アクションリバインド(Action Rebinding)は、エージェントの実行をリバインドする危険な権限をゼロにする、一見良心的なアプリを可能にする、新たな攻撃である。
エージェントのタスク回復ロジックとAndroidのUI状態保存を武器化し、プログラム可能なマルチステップアタックチェーンを編成する。
以上の結果から,原子間相互作用リバインディングの成功率は100%であり,マルチステップアタックチェーンを確実にオーケストレーションできることが示唆された。
論文 参考訳（メタデータ） (2026-01-18T10:54:54Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。