論文の概要: MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content
- arxiv url: http://arxiv.org/abs/2605.28116v1
- Date: Wed, 27 May 2026 08:09:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.871836
- Title: MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content
- Title（参考訳）: MIRAGE:ユーザ生成コンテンツによるモバイルGUIエージェントに対するコンテキスト対応プロンプトインジェクション
- Authors: Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu,
- Abstract要約: MIRAGEは、良質なモバイルスクリーンショットをプロンプトインジェクションサンプルに変換するパイプラインである。
重要な課題は、インジェクトされたスクリーンショットは、エージェントを変貌させながら、本物のユーザーコンテンツと視覚的に区別できなければならないことである。
10のアプリケーションと11の攻撃意図にまたがる1,111サンプルのベンチマークでは、5つの評価されたVLMエージェントすべてが脆弱である。
- 参考スコア（独自算出の注目度）: 32.239107706539464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile graphical user interface (GUI) agents driven by vision-language models (VLMs) perceive the screen as rendered pixels and choose actions from what they see, so they cannot reliably separate trusted interface elements from user-generated content. We present MIRAGE (Mobile Injection of Realistic Adversarial GUI Examples), a pipeline that turns benign mobile screenshots into prompt-injection samples by placing attacker-controlled text into ordinary user-generated content regions, without modifying the agent, the application, or the operating system. MIRAGE operates in three stages: a Localizer identifies user-controllable regions on the screenshot, a Generator synthesises context-aware payloads and renders them in the application's native style, and a Curator moderates realism and balances the samples across applications, region types, and attack intents. A key challenge is that an injected screenshot must stay visually indistinguishable from genuine user content while still diverting the agent; we address this by separating the stages that control reach, realism, and distributional balance. On a 1,111-sample benchmark spanning ten applications and eleven attack intents, all five evaluated VLM agents are vulnerable, with attack success rates of 23%-30%, and MIRAGE scores higher on human realism ratings than the strongest prior attack (3.02 versus 2.52 out of 5). We further find that per-sample realism and attack success are uncorrelated, so visual-quality filtering alone cannot reliably defend against this threat.
- Abstract（参考訳）: 視覚言語モデル(VLM)によって駆動されるGUIエージェントは、画面をレンダリングされたピクセルとして認識し、画面からアクションを選択するため、信頼されたインターフェース要素をユーザ生成コンテンツから確実に分離することはできない。
MIRAGE(Mobile Injection of Realistic Adversarial GUI Examples)は,攻撃者が制御するテキストをエージェントやアプリケーション,オペレーティングシステムを変更することなく,通常のユーザ生成コンテンツ領域に配置することで,ベネフィットなモバイルスクリーンショットを即時注入サンプルに変換するパイプラインである。
ローカライザはスクリーンショット上のユーザコントロール可能なリージョンを特定し、ジェネレータはコンテキスト認識されたペイロードを合成してアプリケーションのネイティブスタイルでレンダリングし、Curatorはリアリズムを緩和し、サンプルをアプリケーション、リージョンタイプ、アタックインテント間でバランスさせる。
重要な課題は、インジェクトされたスクリーンショットは、エージェントを分散させながら、真のユーザコンテンツと視覚的に区別できなければならないことだ。
10のアプリケーションと11の攻撃意図にまたがる1,1111サンプルのベンチマークでは、5つの評価されたVLMエージェントが脆弱であり、攻撃成功率は23%-30%であり、MIRAGEは最強の攻撃(3.02対2.52対5)よりも人間のリアリズムのスコアが高い。
さらに、サンプルごとのリアリズムとアタックの成功は非相関であるため、視覚的品質のフィルタリングだけでは、この脅威に対して確実に防御できない。
関連論文リスト
- AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents [18.82273534480229]
モバイルグラフィカルユーザインタフェース(GUI)エージェントは、アプリケーションとオペレーティングシステム(OS)を自律的に制御する
本稿では,視覚的に自然なトリガを用いたモバイルGUIエージェントにおけるリモートアクション実行を誘導する新しいバックドアアタックであるAgentRAEを提案する。
評価の結果,提案したバックドアは10個のモバイル操作に対して90%以上の攻撃成功率でクリーンな性能を保っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-24T09:51:43Z) - GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments? [30.170538068791263]
VLM(Vision-Language Models)は,モバイルグラフィカルユーザインターフェース(GUI)をナビゲートする自律エージェントとして,ますます普及している。
環境注入は、GUIに直接敵のUI要素を挿入することで、エージェントの視覚的知覚を損なう。
GhostEI-Benchは、動的に実行可能な環境で環境注入攻撃を受けるモバイルエージェントを評価するための最初のベンチマークである。
論文 参考訳（メタデータ） (2025-10-23T08:33:24Z) - Effective and Stealthy One-Shot Jailbreaks on Deployed Mobile Vision-Language Agents [29.62914440645731]
アプリ内のプロンプトインジェクションを活用する一発のjailbreak攻撃を提示する。
悪意のあるアプリはUIテキストに短いプロンプトを埋め込むが、エージェントがADBを介してUIを駆動すると明らかになる。
当社のフレームワークは,(1)悪質なアプリへのペイロードをエージェントの視覚入力として注入する低プライバシー認識チェーンターゲティング,(2)物理的タッチ属性を用いてエージェントを識別し,エージェント操作時にのみペイロードを公開するタッチベーストリガ,(3)ステルス誘導された文字レベルのワンショットプロンプトエフェクト,の3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-10-09T05:34:57Z) - Hijacking JARVIS: Benchmarking Mobile GUI Agents against Unprivileged Third Parties [19.430061128447022]
本稿では,モバイルGUIエージェントの脆弱性に関する最初の系統的研究について述べる。
本稿では,スケーラブルな攻撃シミュレーションフレームワークであるAgentHazardを紹介した。
動的タスク実行環境と攻撃シナリオの静的データセットの両方からなるベンチマークスイートを開発する。
以上の結果から, 調査対象となったエージェントは, 誤解を招く第三者コンテンツに大きく影響していることが判明した。
論文 参考訳（メタデータ） (2025-07-06T03:31:36Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - EVA: Red-Teaming GUI Agents via Evolving Indirect Prompt Injection [14.83331240126743]
マルチモーダルエージェントは、グラフィカルユーザインタフェース(GUI)を操作してユーザタスクを完了するように、ますます訓練されている。
本稿では,攻撃をループ最適化に変換する間接的プロンプトインジェクションのフレームワークであるEVAを提案する。
EVAは、ポップアップ操作、チャットベースのフィッシング、支払い、電子メール合成などの現実的な設定において、広く使われている6つのジェネラリストおよび専門的なGUIエージェントに対して評価する。
論文 参考訳（メタデータ） (2025-05-20T12:41:05Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。