論文の概要: Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection
- arxiv url: http://arxiv.org/abs/2604.07831v1
- Date: Thu, 09 Apr 2026 05:32:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.720007
- Title: Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection
- Title（参考訳）: GUIエージェントは十分にフォーカスされているか? セマンティックレベルのUI要素注入による自動ディストラクション
- Abstract要約: 安全に整合した無害なUI要素をスクリーンショット上にオーバーレイしてエージェントの視覚的接地を誤指示する赤チーム設定を提案する。
本手法では,モジュール型エディター-オーバーラッパー-ヴィクティムパイプラインと,複数の候補編集を抽出する反復探索手法を用いる。
攻撃は攻撃成功率を最大4.4倍に向上させる。
- 参考スコア（独自算出の注目度）: 37.5890320718138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing red-teaming studies on GUI agents have important limitations. Adversarial perturbations typically require white-box access, which is unavailable for commercial systems, while prompt injection is increasingly mitigated by stronger safety alignment. To study robustness under a more practical threat model, we propose Semantic-level UI Element Injection, a red-teaming setting that overlays safety-aligned and harmless UI elements onto screenshots to misdirect the agent's visual grounding. Our method uses a modular Editor-Overlapper-Victim pipeline and an iterative search procedure that samples multiple candidate edits, keeps the best cumulative overlay, and adapts future prompt strategies based on previous failures. Across five victim models, our optimized attacks improve attack success rate by up to 4.4x over random injection on the strongest victims. Moreover, elements optimized on one source model transfer effectively to other target models, indicating model-agnostic vulnerabilities. After the first successful attack, the victim still clicks the attacker-controlled element in more than 15% of later independent trials, versus below 1% for random injection, showing that the injected element acts as a persistent attractor rather than simple visual clutter.
- Abstract（参考訳）: 既存のGUIエージェントの研究には重要な制限がある。
敵の摂動は一般にホワイトボックスアクセスを必要とするが、商業システムでは利用できない。
より実用的な脅威モデルの下でロバスト性を研究するために,安全で有害なUI要素をスクリーンショット上にオーバーレイし,エージェントの視覚的接地を誤指示する,セマンティックレベルのUI要素注入を提案する。
提案手法では,複数の候補編集を抽出し,最高の累積オーバーレイを保ち,過去の故障に基づく今後のプロンプト戦略に適応する,モジュール型エディター・オバラッパー・ヴィクティムパイプラインと反復探索手法を用いる。
5つの犠牲者モデルで、我々の最適化された攻撃は、最も強い犠牲者に対するランダム注入よりも、攻撃成功率を最大4.4倍改善した。
さらに、あるソースモデルに最適化された要素は、モデルに依存しない脆弱性を示す他のターゲットモデルに効果的に転送される。
最初の攻撃が成功した後も、攻撃者がコントロールした要素を15%以上クリックし、ランダム注入では1%以下でクリックし、注入された要素が単純な視覚的乱雑ではなく永続的な引き金として機能することを示した。
関連論文リスト
- Repeat-After-Me: Black-Box Adaptive Visual Prompt Injection [40.37588773528427]
ブラックボックス適応型ビジュアルプロンプトインジェクション攻撃であるRepeat-After-Meを提案する。
本評価では, 1つのサロゲートに最適化された注射は, 2つの商業的犠牲者に対して, 元のASRの43～46%を保持した。
デフォルトのOpenClaw Discordデプロイメントでは、信頼できないユーザは、最小限の注入されたイメージを使用してTOOLS.mdを上書きすることができる。
論文 参考訳（メタデータ） (2026-09-03T22:44:45Z) - MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳（メタデータ） (2026-06-09T11:53:25Z) - WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
Webエージェントはインジェクション攻撃に対して非常に脆弱である。
システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。
本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
論文 参考訳（メタデータ） (2026-04-14T04:50:35Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - Effective and Stealthy One-Shot Jailbreaks on Deployed Mobile Vision-Language Agents [29.62914440645731]
アプリ内のプロンプトインジェクションを活用する一発のjailbreak攻撃を提示する。
悪意のあるアプリはUIテキストに短いプロンプトを埋め込むが、エージェントがADBを介してUIを駆動すると明らかになる。
当社のフレームワークは,(1)悪質なアプリへのペイロードをエージェントの視覚入力として注入する低プライバシー認識チェーンターゲティング,(2)物理的タッチ属性を用いてエージェントを識別し,エージェント操作時にのみペイロードを公開するタッチベーストリガ,(3)ステルス誘導された文字レベルのワンショットプロンプトエフェクト,の3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-10-09T05:34:57Z) - AgentTypo: Adaptive Typographic Prompt Injection Attacks against Black-box Multimodal Agents [22.88469633141419]
我々は、最適化されたテキストをWebページイメージに埋め込むことで、適応型タイポグラフィーインジェクションを組み込むフレームワークであるAgentTypoを紹介する。
我々のATPIアルゴリズムは,スチールスロスによる人体検出性を最小化しながらキャプタを置換することで,迅速な再構築を最大化する。
我々はまた,複数LLMシステムであるAgentTypo-proを開発し,評価フィードバックを用いてインジェクションプロンプトを反復的に洗練し,連続学習における過去の事例を検索する。
論文 参考訳（メタデータ） (2025-10-05T15:46:56Z) - WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents [34.909802797979324]
本稿では,Webエージェントを標的としたインジェクション攻撃を検出するための総合的なベンチマーク研究を行う。
悪意のあるサンプルと良心的なサンプルの両方を含むデータセットを構築します。
次に、テキストベースと画像ベースの両方の検出方法を体系化する。
論文 参考訳（メタデータ） (2025-10-01T18:34:06Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。