論文の概要: ADVEDM:Fine-grained Adversarial Attack against VLM-based Embodied Agents

• arxiv url: http://arxiv.org/abs/2509.16645v1
• Date: Sat, 20 Sep 2025 11:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.903747
• Title: ADVEDM:Fine-grained Adversarial Attack against VLM-based Embodied Agents
• Title（参考訳）: ADVEDM:VLMをベースとした抗腫瘍剤の抗腫瘍効果
• Authors: Yichen Wang, Hangtao Zhang, Hewen Pan, Ziqi Zhou, Xianlong Wang, Peijin Guo, Lulu Xue, Shengshan Hu, Minghui Li, Leo Yu Zhang,
• Abstract要約: VLM(Vision-Language Models)は、意思決定タスクの具体化に広く使われている。 最近の研究は、脆弱性を明らかにするためにVLMに対する敵攻撃を調査している。 本稿では,数個のキーオブジェクトに対するVLMの認識を微粒化したADVEDMを提案する。
• 参考スコア（独自算出の注目度）: 40.066839771776046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs), with their strong reasoning and planning capabilities, are widely used in embodied decision-making (EDM) tasks in embodied agents, such as autonomous driving and robotic manipulation. Recent research has increasingly explored adversarial attacks on VLMs to reveal their vulnerabilities. However, these attacks either rely on overly strong assumptions, requiring full knowledge of the victim VLM, which is impractical for attacking VLM-based agents, or exhibit limited effectiveness. The latter stems from disrupting most semantic information in the image, which leads to a misalignment between the perception and the task context defined by system prompts. This inconsistency interrupts the VLM's reasoning process, resulting in invalid outputs that fail to affect interactions in the physical world. To this end, we propose a fine-grained adversarial attack framework, ADVEDM, which modifies the VLM's perception of only a few key objects while preserving the semantics of the remaining regions. This attack effectively reduces conflicts with the task context, making VLMs output valid but incorrect decisions and affecting the actions of agents, thus posing a more substantial safety threat in the physical world. We design two variants of based on this framework, ADVEDM-R and ADVEDM-A, which respectively remove the semantics of a specific object from the image and add the semantics of a new object into the image. The experimental results in both general scenarios and EDM tasks demonstrate fine-grained control and excellent attack performance.
• Abstract（参考訳）: VLM(Vision-Language Models)は、強力な推論と計画能力を持ち、自律運転やロボット操作などの具体的エージェントの実施された意思決定(EDM)タスクに広く利用されている。 近年の研究では、脆弱性を明らかにするためにVLMに対する敵対的な攻撃について研究が進められている。 しかしながら、これらの攻撃は過度に強い仮定に依存し、被害者のVLMの完全な知識を必要とする。 後者は、イメージ内のほとんどの意味情報を破壊することに由来するもので、システムプロンプトによって定義されたタスクコンテキストと知覚の相違につながる。 この矛盾はVLMの推論プロセスを中断させ、物理的世界の相互作用に影響を与えない不正な出力をもたらす。 そこで本研究では,ごく少数のキーオブジェクトに対するVLMの認識を,残りの領域のセマンティクスを保ちながら調整する,細粒度な敵攻撃フレームワークADVEDMを提案する。 この攻撃はタスクコンテキストとの衝突を効果的に減らし、VLMの出力が妥当だが誤った決定を下し、エージェントの行動に影響を与え、物理的世界においてより実質的な安全上の脅威を生じさせる。 我々は,この枠組みに基づく2つの変種ADVEDM-RとADVEDM-Aを設計し,それぞれ画像から特定の対象の意味を除去し,新しい対象の意味を画像に追加する。 一般的なシナリオとEDMタスクの両方の実験結果は、きめ細かい制御と優れた攻撃性能を示す。

関連論文リスト

• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• TRAP: Targeted Redirecting of Agentic Preferences [3.6293956720749425]
  本稿では,拡散型セマンティックインジェクションを用いてエージェントの意思決定を制御する,生成的敵対的フレームワークであるTRAPを紹介する。 提案手法は, 負のプロンプトに基づく劣化と正のセマンティック最適化を組み合わせ, シームズ意味ネットワークとレイアウト対応空間マスキングによって導かれる。 TRAPはLLaVA-34B、Gemma3、Mistral-3.1など主要なモデルで100%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2025-05-29T14:57:16Z)
• Disrupting Vision-Language Model-Driven Navigation Services via Adversarial Object Fusion [56.566914768257035]
  本稿では,サービス指向環境における視覚言語ナビゲーション(VLN)エージェントを対象とした新たな攻撃フレームワークであるAdversarial Object Fusion(AdvOF)を提案する。 本稿では,通常のナビゲーションタスクに対する最小限の干渉を維持しつつ,敵条件下でのエージェント性能を効果的に劣化させることができることを示す。 この研究は、VLMによるナビゲーションシステムにおけるサービスセキュリティの理解を深め、物理世界展開における堅牢なサービス構成のための計算基盤を提供する。
  論文  参考訳（メタデータ） (2025-05-29T09:14:50Z)
• Attention! You Vision Language Model Could Be Maliciously Manipulated [5.504125658123538]
  視覚言語モデルマニピュレーションアタック(VMA)を提案する。 VMAは、対向摂動を効果的に最適化するために、一階と二階の運動量最適化技術と微分可能な変換機構を統合する。 脱獄、ハイジャック、プライバシー侵害、Denial-of-Service、スポンジの生成など、さまざまな攻撃を実装するために利用することができる。
  論文  参考訳（メタデータ） (2025-05-26T12:38:58Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• MAGIC: Mastering Physical Adversarial Generation in Context through Collaborative LLM Agents [18.1558732924808]
  物理的敵攻撃をワンショットパッチ生成問題として再検討する。 提案手法は, 深い生成モデルを用いて, 対向パッチを生成する。 マルチモーダル LLM エージェントを用いた新しいフレームワーク MAGIC を提案する。
  論文  参考訳（メタデータ） (2024-12-11T01:41:19Z)
• Visual Adversarial Attack on Vision-Language Models for Autonomous Driving [34.520523134588345]
  視覚言語モデル(VLM)は推論能力を高めることにより、かなり高度な自律運転(AD)を持つ。 これらのモデルは、敵の攻撃に対して非常に脆弱なままである。 本稿では,ADVLMに特化して設計された最初の視覚的敵攻撃フレームワークであるADvLMを提案する。
  論文  参考訳（メタデータ） (2024-11-27T12:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。