論文の概要: Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning

• arxiv url: http://arxiv.org/abs/2510.27623v1
• Date: Fri, 31 Oct 2025 16:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.170588
• Title: Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning
• Title（参考訳）: コントラストトリガー学習によるMLLM身体決定における視覚的バックドアアタック
• Authors: Qiusi Zhan, Hyeonjeong Ha, Rui Yang, Sirui Xu, Hanyang Chen, Liang-Yan Gui, Yu-Xiong Wang, Huan Zhang, Heng Ji, Daniel Kang,
• Abstract要約: MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
• 参考スコア（独自算出の注目度）: 89.1856483797116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have advanced embodied agents by enabling direct perception, reasoning, and planning task-oriented actions from visual inputs. However, such vision driven embodied agents open a new attack surface: visual backdoor attacks, where the agent behaves normally until a visual trigger appears in the scene, then persistently executes an attacker-specified multi-step policy. We introduce BEAT, the first framework to inject such visual backdoors into MLLM-based embodied agents using objects in the environments as triggers. Unlike textual triggers, object triggers exhibit wide variation across viewpoints and lighting, making them difficult to implant reliably. BEAT addresses this challenge by (1) constructing a training set that spans diverse scenes, tasks, and trigger placements to expose agents to trigger variability, and (2) introducing a two-stage training scheme that first applies supervised fine-tuning (SFT) and then our novel Contrastive Trigger Learning (CTL). CTL formulates trigger discrimination as preference learning between trigger-present and trigger-free inputs, explicitly sharpening the decision boundaries to ensure precise backdoor activation. Across various embodied agent benchmarks and MLLMs, BEAT achieves attack success rates up to 80%, while maintaining strong benign task performance, and generalizes reliably to out-of-distribution trigger placements. Notably, compared to naive SFT, CTL boosts backdoor activation accuracy up to 39% under limited backdoor data. These findings expose a critical yet unexplored security risk in MLLM-based embodied agents, underscoring the need for robust defenses before real-world deployment.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、視覚入力からの直接認識、推論、タスク指向アクションの計画を可能にする高度なエンボディエージェントである。 しかし、このような視覚駆動型具体化エージェントは、視覚的バックドア攻撃という新たな攻撃面を開く: エージェントは、シーンに視覚的トリガーが現れるまで正常に振る舞う。 我々は、環境中のオブジェクトをトリガーとして使用するMLLMベースのエンボディエージェントにこのような視覚的バックドアを注入する最初のフレームワークBEATを紹介します。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATはこの課題に対して,(1)多様な場面やタスクにまたがるトレーニングセットを構築して,変数をトリガーするエージェントを公開し,(2)教師付き微調整(SFT)を最初に適用した2段階のトレーニングスキームを導入し,次に,私たちの小説Contrastive Trigger Learning(CTL)を紹介した。 CTL公式はトリガー現在とトリガーなし入力の間の選好学習として識別をトリガーし、決定境界を明確にし、正確なバックドアアクティベーションを保証する。 さまざまな具体的エージェントベンチマークやMLLMの他、BEATは攻撃成功率を最大80%まで達成し、強い良質なタスク性能を維持し、アウト・オブ・ディストリビューションのトリガー配置を確実に一般化する。 特に、単純なSFTと比較して、CTLはバックドアのアクティベーション精度を制限されたバックドアデータで最大39%向上させる。 これらの発見は、MLLMベースのエンボディエージェントの重大なセキュリティリスクを明らかにし、実世界の展開前に堅牢な防御の必要性を強調している。

関連論文リスト

• Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
  大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。 現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。 対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
  論文  参考訳（メタデータ） (2025-10-06T23:09:18Z)
• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Twin Trigger Generative Networks for Backdoor Attacks against Object Detection [14.578800906364414]
  オブジェクト検出器は、現実世界のアプリケーションで広く使われているが、バックドア攻撃に弱い。 バックドア攻撃に関するほとんどの研究は画像分類に焦点を合わせており、物体検出について限定的な研究がなされている。 本研究では,トレーニング中のモデルにバックドアを埋め込むための目に見えないトリガと,推論中の安定したアクティベーションのための目に見えるトリガを生成する新しいツイントリガ生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-11-23T03:46:45Z)
• Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
  大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。 LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。 この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models [65.23688155159398]
  VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。 近年,マルチモーダル・インストラクション・チューニングが提案されている。 敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。 本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。