論文の概要: Screen Hijack: Visual Poisoning of VLM Agents in Mobile Environments

• arxiv url: http://arxiv.org/abs/2506.13205v4
• Date: Wed, 02 Jul 2025 06:08:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 22:56:23.368229
• Title: Screen Hijack: Visual Poisoning of VLM Agents in Mobile Environments
• Title（参考訳）: スクリーンハイジャック:モバイル環境におけるVLMエージェントの視覚的中毒
• Authors: Xuan Wang, Siyuan Liang, Zhe Liu, Yi Yu, Yuliang Lu, Xiaochun Cao, Ee-Chien Chang, Xitong Gao,
• Abstract要約: GHOSTは視覚言語モデル(VLM)上に構築された移動体エージェントに特化して設計された最初のクリーンラベルバックドア攻撃である。 本手法は,トレーニングサンプルの一部の視覚入力のみを,対応するラベルや指示を変更することなく操作する。 実世界の6つのAndroidアプリとモバイルに適応した3つのVLMアーキテクチャを対象に,本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 61.808686396077036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing integration of vision-language models (VLMs), mobile agents are now widely used for tasks like UI automation and camera-based user assistance. These agents are often fine-tuned on limited user-generated datasets, leaving them vulnerable to covert threats during the training process. In this work we present GHOST, the first clean-label backdoor attack specifically designed for mobile agents built upon VLMs. Our method manipulates only the visual inputs of a portion of the training samples - without altering their corresponding labels or instructions - thereby injecting malicious behaviors into the model. Once fine-tuned with this tampered data, the agent will exhibit attacker-controlled responses when a specific visual trigger is introduced at inference time. The core of our approach lies in aligning the gradients of poisoned samples with those of a chosen target instance, embedding backdoor-relevant features into the poisoned training data. To maintain stealth and enhance robustness, we develop three realistic visual triggers: static visual patches, dynamic motion cues, and subtle low-opacity overlays. We evaluate our method across six real-world Android apps and three VLM architectures adapted for mobile use. Results show that our attack achieves high attack success rates (up to 94.67 percent) while maintaining high clean-task performance (FSR up to 95.85 percent). Additionally, ablation studies shed light on how various design choices affect the efficacy and concealment of the attack. Overall, this work is the first to expose critical security flaws in VLM-based mobile agents, highlighting their susceptibility to clean-label backdoor attacks and the urgent need for effective defense mechanisms in their training pipelines.
• Abstract（参考訳）: 視覚言語モデル(VLM)の統合が拡大するにつれ、モバイルエージェントは、UI自動化やカメラベースのユーザアシストといったタスクに広く使用されている。 これらのエージェントは、限られたユーザ生成データセットに基づいて微調整されることが多く、トレーニングプロセス中に隠蔽脅威に対して脆弱である。 本稿では,VLM上に構築されたモバイルエージェントを対象とした,最初のクリーンラベルバックドア攻撃であるGHOSTを紹介する。 本手法では,トレーニングサンプルの一部の視覚的な入力のみを,対応するラベルや命令を変更することなく操作することで,悪意のある動作をモデルに注入する。 この改ざんされたデータを微調整すると、エージェントは推論時に特定の視覚的トリガーが導入されたときにアタッカーが制御する応答を表示する。 当社のアプローチの核心は、有毒なサンプルの勾配を選択対象のサンプルと整合させることであり、有毒なトレーニングデータにバックドア関連の特徴を埋め込むことである。 ステルスを保ち、堅牢性を高めるために、静的な視覚パッチ、ダイナミックモーションキュー、微妙な低オプティシティオーバーレイの3つの現実的な視覚的トリガーを開発する。 実世界の6つのAndroidアプリとモバイルに適応した3つのVLMアーキテクチャを対象に,本手法の評価を行った。 その結果、我々の攻撃は高い攻撃成功率(94.67パーセントまで)を達成し、高いクリーンタスク性能(FSRは95.85パーセントまで)を維持していることがわかった。 さらに、アブレーション研究は、様々なデザイン選択が攻撃の有効性と隠蔽にどのように影響するかを明らかにした。 全体として、この研究はVLMベースのモバイルエージェントの重大なセキュリティ欠陥を初めて明らかにし、クリーンラベルバックドア攻撃への感受性と、トレーニングパイプラインにおける効果的な防御メカニズムの緊急の必要性を強調している。

関連論文リスト

• Backdoor Attack on Vision Language Models with Stealthy Semantic Manipulation [32.24294112337828]
  BadSemは、トレーニング中に画像とテキストのペアを意図的に間違えることでバックドアを注入するデータ中毒攻撃だ。 実験の結果,BadSemは平均的ASRの98%以上を達成し,アウト・オブ・ディストリビューション・データセットに最適化し,有害なモダリティをまたいで転送可能であることがわかった。 我々の発見は、より安全なデプロイメントのためにビジョン言語モデルにおけるセマンティックな脆弱性に対処する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-06-08T16:40:40Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• Venomancer: Towards Imperceptible and Target-on-Demand Backdoor Attacks in Federated Learning [16.04315589280155]
  本稿では,効果的なバックドア攻撃であるVenomancerを提案する。 この方法は、Norm Clipping、Wak DP、Krum、Multi-Krum、RLR、FedRAD、Deepsight、RFLBATといった最先端の防御に対して堅牢である。
  論文  参考訳（メタデータ） (2024-07-03T14:22:51Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment [31.24530091590395]
  本研究では,大規模言語モデルの活性化層にトロイの木馬ステアリングベクトルを注入する,Trojan Activation Attack (TA2) と呼ばれる攻撃シナリオについて検討する。 実験の結果,TA2は高効率であり,攻撃効率のオーバーヘッドがほとんどあるいは全くないことがわかった。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)
• Just Rotate it: Deploying Backdoor Attacks via Rotation Transformation [48.238349062995916]
  回転に基づく画像変換により,高い効率のバックドアを容易に挿入できることが判明した。 私たちの研究は、バックドア攻撃のための、新しく、シンプルで、物理的に実現可能で、非常に効果的なベクターに焦点を当てています。
  論文  参考訳（メタデータ） (2022-07-22T00:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。