論文の概要: Hidden Ghost Hand: Unveiling Backdoor Vulnerabilities in MLLM-Powered Mobile GUI Agents

• arxiv url: http://arxiv.org/abs/2505.14418v1
• Date: Tue, 20 May 2025 14:29:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.356851
• Title: Hidden Ghost Hand: Unveiling Backdoor Vulnerabilities in MLLM-Powered Mobile GUI Agents
• Title（参考訳）: 隠れたゴーストハンド:MLLM搭載のモバイルGUIエージェントのバックドア脆弱性発見
• Authors: Pengzhou Cheng, Haowen Hu, Zheng Wu, Zongru Wu, Tianjie Ju, Daizong Ding, Zhuosheng Zhang, Gongshen Liu,
• Abstract要約: MLLMベースのGUIエージェントは、自然に複数の対話レベルのトリガーを公開します。 我々はAgentGhostを紹介した。AgentGhostは、バックドア攻撃をリピートするための効果的でステルス的なフレームワークである。 AgentGhostは有効で汎用的であり、攻撃精度は3つの攻撃目標に対して99.7%に達する。
• 参考スコア（独自算出の注目度）: 21.21993318615293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical user interface (GUI) agents powered by multimodal large language models (MLLMs) have shown greater promise for human-interaction. However, due to the high fine-tuning cost, users often rely on open-source GUI agents or APIs offered by AI providers, which introduces a critical but underexplored supply chain threat: backdoor attacks. In this work, we first unveil that MLLM-powered GUI agents naturally expose multiple interaction-level triggers, such as historical steps, environment states, and task progress. Based on this observation, we introduce AgentGhost, an effective and stealthy framework for red-teaming backdoor attacks. Specifically, we first construct composite triggers by combining goal and interaction levels, allowing GUI agents to unintentionally activate backdoors while ensuring task utility. Then, we formulate backdoor injection as a Min-Max optimization problem that uses supervised contrastive learning to maximize the feature difference across sample classes at the representation space, improving flexibility of the backdoor. Meanwhile, it adopts supervised fine-tuning to minimize the discrepancy between backdoor and clean behavior generation, enhancing effectiveness and utility. Extensive evaluations of various agent models in two established mobile benchmarks show that AgentGhost is effective and generic, with attack accuracy that reaches 99.7\% on three attack objectives, and shows stealthiness with only 1\% utility degradation. Furthermore, we tailor a defense method against AgentGhost that reduces the attack accuracy to 22.1\%. Our code is available at \texttt{anonymous}.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) を利用したグラフィカルユーザインタフェース (GUI) エージェントは, 人間のインタラクションに対して大きな期待を抱いている。 しかし、高い微調整コストのため、ユーザはしばしば、AIプロバイダが提供するオープンソースのGUIエージェントやAPIに依存している。 本稿では,MLLMを用いたGUIエージェントが,歴史的ステップ,環境状態,タスク進捗など,複数のインタラクションレベルのトリガを自然に公開することを明らかにする。 この観測に基づいて,バックドア攻撃をリピートするための効果的でステルス的なフレームワークであるAgentGhostを紹介した。 具体的には、まず目標レベルと対話レベルを組み合わせて複合トリガを構築し、GUIエージェントが意図せずにバックドアを起動し、タスクユーティリティを保証できるようにする。 そして、教師付きコントラスト学習を用いて、表現空間におけるサンプルクラス間の特徴差を最大化し、バックドアの柔軟性を向上させるMin-Max最適化問題としてバックドアインジェクションを定式化する。 一方、バックドアとクリーンな行動生成の相違を最小限に抑えるため、教師付き微調整を採用し、有効性と有用性を高めている。 2つの確立されたモバイルベンチマークにおける様々なエージェントモデルの広範囲な評価は、AgentGhostが有効で汎用的であり、3つの攻撃目標に対して99.7\%に達する攻撃精度を持つことを示している。 さらに、攻撃精度を22.1\%に下げるAgentGhostに対する防御方法を調整する。 私たちのコードは \texttt{anonymous} で利用可能です。

関連論文リスト

• AgentXploit: End-to-End Redteaming of Black-Box AI Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジィングフレームワークであるAgentXploitを提案する。 我々は、AgentXploitをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• BLAST: A Stealthy Backdoor Leverage Attack against Cooperative Multi-Agent Deep Reinforcement Learning based Systems [11.776860619017867]
  協調型多エージェント深層強化学習(c-MADRL)は、バックドア攻撃の脅威にさらされている。 我々は,c-MADRLに対して,単一のエージェントに唯一のバックドアを埋め込むことで,マルチエージェントチーム全体を攻撃する新しいバックドアレバレッジアタックを提案する。
  論文  参考訳（メタデータ） (2025-01-03T01:33:29Z)
• A Spatiotemporal Stealthy Backdoor Attack against Cooperative Multi-Agent Deep Reinforcement Learning [12.535344011523897]
  協調型多エージェント深層強化学習(c-MADRL)は、バックドア攻撃の脅威にさらされている。 我々は,c-MADRLに対する新たなバックドア攻撃を提案し,単一のエージェントにのみバックドアを埋め込むことで,マルチエージェントチーム全体を攻撃する。 私たちのバックドア攻撃は高い攻撃成功率(91.6%)を達成でき、クリーンパフォーマンスのばらつきは低い(3.7%)。
  論文  参考訳（メタデータ） (2024-09-12T06:17:37Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Dual-Key Multimodal Backdoors for Visual Question Answering [26.988750557552983]
  マルチモーダルネットワークは、Dual-Key Multimodal Backdoorsと呼ばれる新しいタイプの攻撃に対して脆弱であることを示す。 この攻撃は、最先端のネットワークが使用する複雑な融合機構を利用して、効果的でステルス的なバックドアを埋め込む。 本稿では,視覚的質問応答(VQA)タスクにおけるマルチモーダルバックドアについて,複数のアーキテクチャと視覚的特徴バックボーンを用いた広範な検討を行う。
  論文  参考訳（メタデータ） (2021-12-14T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。