論文の概要: Model-agnostic Adversarial Attack and Defense for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2510.13237v1
- Date: Wed, 15 Oct 2025 07:42:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.548646
- Title: Model-agnostic Adversarial Attack and Defense for Vision-Language-Action Models
- Title(参考訳): ビジョン・ランゲージ・アクションモデルに対するモデル非依存的敵攻撃と防御
- Authors: Haochuan Xu, Yun Sing Koh, Shuhuai Huang, Zirun Zhou, Di Wang, Jun Sakuma, Jingfeng Zhang,
- Abstract要約: VLA(Vision-Language-Action)モデルは、ロボット学習において革命的な進歩を遂げている。
この進歩にもかかわらず、その敵意の強固さは未解明のままである。
本稿では,VLAモデルに対する敵パッチ攻撃と対応する防御戦略の両方を提案する。
- 参考スコア(独自算出の注目度): 25.45513133247862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have achieved revolutionary progress in robot learning, enabling robots to execute complex physical robot tasks from natural language instructions. Despite this progress, their adversarial robustness remains underexplored. In this work, we propose both adversarial patch attack and corresponding defense strategies for VLA models. We first introduce the Embedding Disruption Patch Attack (EDPA), a model-agnostic adversarial attack that generates patches directly placeable within the camera's view. In comparison to prior methods, EDPA can be readily applied to different VLA models without requiring prior knowledge of the model architecture, or the controlled robotic manipulator. EDPA constructs these patches by (i) disrupting the semantic alignment between visual and textual latent representations, and (ii) maximizing the discrepancy of latent representations between adversarial and corresponding clean visual inputs. Through the optimization of these objectives, EDPA distorts the VLA's interpretation of visual information, causing the model to repeatedly generate incorrect actions and ultimately result in failure to complete the given robotic task. To counter this, we propose an adversarial fine-tuning scheme for the visual encoder, in which the encoder is optimized to produce similar latent representations for both clean and adversarially perturbed visual inputs. Extensive evaluations on the widely recognized LIBERO robotic simulation benchmark demonstrate that EDPA substantially increases the task failure rate of cutting-edge VLA models, while our proposed defense effectively mitigates this degradation. The codebase is accessible via the homepage at https://edpa-attack.github.io/.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、ロボット学習の革命的な進歩を達成し、ロボットが自然言語による複雑な物理ロボットタスクを実行できるようになった。
この進歩にもかかわらず、その敵意の強固さは未解明のままである。
本研究では,VLAモデルに対する逆パッチ攻撃と対応する防御戦略の両方を提案する。
我々はまず,カメラの視界に直接配置可能なパッチを生成するモデルに依存しない敵攻撃である Embedding Disruption Patch Attack (EDPA) を紹介する。
従来の手法と比較して、EDPAはモデルアーキテクチャや制御ロボットマニピュレータの事前知識を必要とせずに、異なるVLAモデルに容易に適用することができる。
EDPAはこれらのパッチを構築する
(i)視覚的・テキスト的潜在表現のセマンティックアライメントを乱し、
(2) 敵と対応するクリーンな視覚入力の潜在表現の差を最大化する。
これらの目的の最適化を通じて、EDPAはVLAの視覚情報解釈を歪め、モデルが繰り返し誤ったアクションを発生させ、最終的に与えられたロボットタスクを完了させることができない。
これに対応するために,視覚エンコーダの逆方向の微調整方式を提案する。
広く認識されているLIBEROロボットシミュレーションベンチマークにおいて、EDPAは最先端VLAモデルのタスク故障率を大幅に向上する一方、この劣化を効果的に軽減する。
コードベースは、https://edpa- attack.github.io/のホームページからアクセスできる。
関連論文リスト
- TabVLA: Targeted Backdoor Attacks on Vision-Language-Action Models [63.51290426425441]
バックドア付きVLAエージェントは、プレインジェクトされたバックドアによって隠蔽的にトリガーされ、敵のアクションを実行することができる。
我々は,VLAモデルに対するターゲットバックドア攻撃について検討し,ブラックボックスファインチューニングによる攻撃を可能にする新しいフレームワークであるTabVLAを紹介した。
我々の研究は、バックドア操作をターゲットにしたVLAモデルの脆弱性を強調し、より高度な防御の必要性を強調します。
論文 参考訳(メタデータ) (2025-10-13T02:45:48Z) - IPG: Incremental Patch Generation for Generalized Adversarial Patch Training [1.54369283425087]
敵パッチの出現は、AIモデルの堅牢性に重大な課題をもたらす。
本稿では,既存のアプローチの最大11.1倍の効率で敵パッチを生成する手法であるインクリメンタルパッチ生成(IPG)を提案する。
IPGの有効性は、YOLOの特徴分布の可視化や逆行訓練結果を含む実験およびアブレーション研究によって実証される。
論文 参考訳(メタデータ) (2025-08-13T15:53:58Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳(メタデータ) (2025-03-27T22:23:04Z) - Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのロバスト性を体系的に評価する。
本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。
我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文 参考訳(メタデータ) (2024-11-18T01:52:20Z) - Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。
パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。
本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
論文 参考訳(メタデータ) (2024-05-17T04:19:19Z) - Defense Against Adversarial Attacks using Convolutional Auto-Encoders [0.0]
敵攻撃は入力データを知覚不能な摂動で操作し、モデルがデータを誤分類したり、誤出力を発生させたりする。
この研究は、敵攻撃に対する標的モデルの堅牢性を高めることに基づいている。
論文 参考訳(メタデータ) (2023-12-06T14:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。