論文の概要: Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents

• arxiv url: http://arxiv.org/abs/2506.13205v5
• Date: Wed, 13 Aug 2025 14:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 16:17:42.591269
• Title: Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents
• Title（参考訳）: VLMベースのモバイルエージェントのクリーンテキスト・ビジュアル・バックドア
• Authors: Xuan Wang, Siyuan Liang, Zhe Liu, Yi Yu, Aishan Liu, Yuliang Lu, Xitong Gao, Ee-Chien Chang,
• Abstract要約: この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
• 参考スコア（独自算出の注目度）: 34.286224884047385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile agents powered by vision-language models (VLMs) are increasingly adopted for tasks such as UI automation and camera-based assistance. These agents are typically fine-tuned using small-scale, user-collected data, making them susceptible to stealthy training-time threats. This work introduces VIBMA, the first clean-text backdoor attack targeting VLM-based mobile agents. The attack injects malicious behaviors into the model by modifying only the visual input while preserving textual prompts and instructions, achieving stealth through the complete absence of textual anomalies. Once the agent is fine-tuned on this poisoned data, adding a predefined visual pattern (trigger) at inference time activates the attacker-specified behavior (backdoor). Our attack aligns the training gradients of poisoned samples with those of an attacker-specified target instance, effectively embedding backdoor-specific features into the poisoned data. To ensure the robustness and stealthiness of the attack, we design three trigger variants that better resemble real-world scenarios: static patches, dynamic motion patterns, and low-opacity blended content. Extensive experiments on six Android applications and three mobile-compatible VLMs demonstrate that our attack achieves high success rates (ASR up to 94.67%) while preserving clean-task behavior (FSR up to 95.85%). We further conduct ablation studies to understand how key design factors impact attack reliability and stealth. These findings is the first to reveal the security vulnerabilities of mobile agents and their susceptibility to backdoor injection, underscoring the need for robust defenses in mobile agent adaptation pipelines.
• Abstract（参考訳）: 視覚言語モデル(VLM)を利用したモバイルエージェントは、UI自動化やカメラベースのアシストといったタスクにますます採用されている。 これらのエージェントは、通常、小規模でユーザの収集したデータを使って微調整されるため、ステルスなトレーニングタイムの脅威を受けやすい。 この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、テキストプロンプトと命令を保持しながら視覚的な入力だけを変更し、テキスト異常の完全な欠如によってステルスを達成することによって、悪意ある振る舞いをモデルに注入する。 この有毒なデータにエージェントを微調整すると、推論時に事前に定義された視覚パターン(トリガー)を追加すると、攻撃者が特定した動作(バックドア)が起動される。 我々の攻撃は、有毒なサンプルのトレーニング勾配と攻撃者特定ターゲットインスタンスのトレーニング勾配を一致させ、効果的に有毒なデータにバックドア固有の特徴を埋め込む。 攻撃の堅牢性とステルス性を保証するため、静的パッチ、動的モーションパターン、低オプティシティ混在コンテンツという、現実のシナリオによく似た3つのトリガー変種を設計する。 6つのAndroidアプリケーションと3つのモバイル互換VLMに関する大規模な実験は、我々の攻撃がクリーンタスク動作(FSR最大95.85%)を維持しながら高い成功率(ASR最大94.67%)を達成することを示した。 さらに、重要な設計要因が攻撃の信頼性とステルスにどのように影響するかを理解するためのアブレーション研究を行っている。 これらの発見は、モバイルエージェントのセキュリティ脆弱性とバックドアインジェクションに対する感受性を初めて明らかにし、モバイルエージェント適応パイプラインにおける堅牢な防御の必要性を強調した。

関連論文リスト

• VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation [68.30039719980519]
  この研究は、GUI要素に対するGUIエージェントをマッピングするテキストプランの視覚的基盤が脆弱性をもたらすことを明らかにしている。 視覚的接地を目的としたバックドア攻撃では、適切なタスク解決計画が与えられた場合でもエージェントの行動が損なわれる可能性がある。 そこで我々は,エージェントが意図したターゲットではなく,意図した位置をトリガーするテキストプランを見つけることをミスリードすることで,グラウンドディングをハイジャックできるVisualTrapを提案する。
  論文  参考訳（メタデータ） (2025-07-09T14:36:00Z)
• Backdoor Attack on Vision Language Models with Stealthy Semantic Manipulation [32.24294112337828]
  BadSemは、トレーニング中に画像とテキストのペアを意図的に間違えることでバックドアを注入するデータ中毒攻撃だ。 実験の結果,BadSemは平均的ASRの98%以上を達成し,アウト・オブ・ディストリビューション・データセットに最適化し,有害なモダリティをまたいで転送可能であることがわかった。 我々の発見は、より安全なデプロイメントのためにビジョン言語モデルにおけるセマンティックな脆弱性に対処する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-06-08T16:40:40Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• Venomancer: Towards Imperceptible and Target-on-Demand Backdoor Attacks in Federated Learning [16.04315589280155]
  本稿では,効果的なバックドア攻撃であるVenomancerを提案する。 この方法は、Norm Clipping、Wak DP、Krum、Multi-Krum、RLR、FedRAD、Deepsight、RFLBATといった最先端の防御に対して堅牢である。
  論文  参考訳（メタデータ） (2024-07-03T14:22:51Z)
• Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
  視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。 パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。 本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
  論文  参考訳（メタデータ） (2024-05-17T04:19:19Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• Effective Backdoor Mitigation in Vision-Language Models Depends on the Pre-training Objective [71.39995120597999]
  現代の機械学習モデルは、敵の攻撃やバックドア攻撃に弱い。 このようなリスクは、マルチモーダルモデルをトレーニングするための大規模なインターネットソースデータセット収集の一般的なプラクティスによって高められている。 CleanCLIPは、マルチモーダルモデルにおけるバックドア効果を軽減するための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-11-25T06:55:13Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment [31.24530091590395]
  本研究では,大規模言語モデルの活性化層にトロイの木馬ステアリングベクトルを注入する,Trojan Activation Attack (TA2) と呼ばれる攻撃シナリオについて検討する。 実験の結果,TA2は高効率であり,攻撃効率のオーバーヘッドがほとんどあるいは全くないことがわかった。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)
• Just Rotate it: Deploying Backdoor Attacks via Rotation Transformation [48.238349062995916]
  回転に基づく画像変換により,高い効率のバックドアを容易に挿入できることが判明した。 私たちの研究は、バックドア攻撃のための、新しく、シンプルで、物理的に実現可能で、非常に効果的なベクターに焦点を当てています。
  論文  参考訳（メタデータ） (2022-07-22T00:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。