論文の概要: Transferable Spatial Temporal Coherence Adversarial Attack on Black-Box Vision Language Models for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2610.08331v1
- Date: Tue, 06 Oct 2026 13:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.009029
- Title: Transferable Spatial Temporal Coherence Adversarial Attack on Black-Box Vision Language Models for Autonomous Driving
- Title(参考訳): 自動走行のためのブラックボックスビジョン言語モデルに対する移動型時空間コヒーレンス対応攻撃
- Abstract要約: 本稿では,自律走行シーンに使用されるビデオターゲティングVLMモデルに対する新たな敵攻撃を提案する。
そこで本稿では,最も意味に有意なフレームをターゲットとしたキャプション誘導型フレーム選択手法を提案する。
BDD100KとnuScenesの自律走行データセットを3つのVLMモデルで実験する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid integration of Vision Language Models (VLMs) into sensitive systems introduces critical safety vulnerabilities that remain unexplored in exist studies. While adversarial attack robustness has been extensively studied for image-based models, the susceptibility of VLMs to temporally-aware adversarial attacks against video in driving context poses a distinct and under examined threat. In this paper, we introduce novel adversarial attack against video targeting VLM models used for autonomous driving scenes named Spatial Temporal Coherence Adversarial Attack (STCA). Our attack comprise from three stages: modalities expansion, Spatial attack, and STCA attack. In modalities expansion, we propose caption-guided frame selection method in order to ensure that adversarial perturbation target the most semantically significant frames. Secondly.In spatial attack, we craft effective perturbation and preserve high similarity. Then the perturbed video generated fed into STCA stage that disrupt cross-frame temporal coherence using motion guided mask. Our method operate under black box threat model against victim target VLMs, relying solely on transferability from white-box surrogate model.We conduct our experiments on the BDD100K and nuScenes autonomous driving datasets across three VLM models: Video LLaVA-7B, Qwen2.5-VL-7B, and Dolphin. Experimental results demonstrate spatial attack achieves an ASR with high SSIM. Our finding reveal that existing video language model, remain highly susceptible to adversarial attack in autonomous driving scenarios, underscoring the urgent need for robust defense for VLM models.
- Abstract(参考訳): 視覚言語モデル(VLM)の機密システムへの迅速な統合は、既存の研究で未解明の重大な安全性の脆弱性を導入している。
画像ベースモデルにおいて、敵対的攻撃ロバスト性は広範囲に研究されているが、駆動環境におけるビデオに対する時間的攻撃に対するVLMの感受性は、はっきりしており、検討されている脅威である。
本稿では,STCA(Spatial Temporal Coherence Adversarial Attack)と呼ばれる自律走行シーンに使用されるビデオターゲティングVLMモデルに対する新たな敵攻撃を提案する。
我々の攻撃は、モーダルティ拡張、空間攻撃、STCA攻撃の3段階から成り立っている。
モダリティ拡張において, 対向的摂動が最も意味的に重要なフレームをターゲットとすることを保証するために, キャプション誘導フレーム選択法を提案する。
第二に、空間攻撃においては、効果的な摂動を作り、高い類似性を維持する。
その後に生成された摂動映像がSTCAステージに送られ、モーションガイドマスクを用いてフレーム間の時間的コヒーレンスを乱す。
提案手法は, 3つのVLMモデル(ビデオLLaVA-7B, Qwen2.5-VL-7B, Dolphin)にまたがるBDD100KおよびnuScenes自律走行データセットについて実験を行った。
空間攻撃が高SSIMのASRを達成することを示す実験結果が得られた。
我々の発見は、既存のビデオ言語モデルは、自律運転シナリオにおける敵の攻撃に強く影響され、VLMモデルの堅牢な防御が緊急に必要であることを示している。
関連論文リスト
- Breaking the weakest link to evade vision language models [0.254890465057467]
視覚言語モデル(VLM)は、マルチモーダルAIシステムの重要なコンポーネントとして登場した。
本研究では,視覚入力に適応する対向的摂動に対するVLMの脆弱性について検討する。
人間の知覚できない小さな摂動は、モデルによって生成された文章の解釈を著しく変えることができることを示す。
論文 参考訳(メタデータ) (2026-08-19T14:06:31Z) - From Pretrain to Pain: Adversarial Vulnerability of Video Foundation Models Without Task Knowledge [57.379583179331426]
本稿では、ダウンストリームモデルやオープンソースのVFMから微調整されたMLLMを攻撃することによる、新規で実用的な敵の脅威シナリオについて検討する。
本稿では,VFMの時間的表現ダイナミクスを利用して効果的な摂動を発生させる,時間的対応型対向攻撃手法であるTransferable Video Attack (TVA)を提案する。
TVAは高価なサロゲートモデルのトレーニングやドメイン固有のデータへのアクセスを回避し、より実用的で効率的な攻撃戦略を提供する。
論文 参考訳(メタデータ) (2025-11-10T12:42:32Z) - Universal Camouflage Attack on Vision-Language Models for Autonomous Driving [67.34987318443761]
自動運転のためのビジュアル言語モデリングが、有望な研究方向として浮上している。
VLM-ADは、敵の攻撃による深刻なセキュリティ脅威に弱いままである。
VLM-ADのための最初のユニバーサルカモフラージュ攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-24T14:52:01Z) - FreezeVLA: Action-Freezing Attacks against Vision-Language-Action Models [124.02734355214325]
Vision-Language-Action(VLA)モデルはロボティクスの急速な進歩を加速している。
敵画像はVLAモデルを「凍結」し、その後の命令を無視する。
FreezeVLAは、min-maxバイレベル最適化を通じて、アクション凍結攻撃を生成し、評価する。
論文 参考訳(メタデータ) (2025-09-24T08:15:28Z) - On the Natural Robustness of Vision-Language Models Against Visual Perception Attacks in Autonomous Driving [10.322375799524345]
車両ビジョン言語モデル(V2LM)は、敵の訓練を必要とせず、目に見えない攻撃に対して優れた堅牢性を示す。
V2LMは平均8%未満の減少率で敵の精度を維持している。
以上の結果から,V2LMはより安全でレジリエントなAV知覚システムを実現する上で有望な道筋であることが示唆された。
論文 参考訳(メタデータ) (2025-06-13T05:22:12Z) - Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。
本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。
我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
論文 参考訳(メタデータ) (2025-05-09T20:28:17Z) - Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。
セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。
本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
論文 参考訳(メタデータ) (2025-01-23T11:10:02Z) - Inter-frame Accelerate Attack against Video Interpolation Models [73.28751441626754]
我々は,対戦型攻撃をVIFモデルに適用し,対戦型モデルに対して非常に脆弱であることを示す。
本稿では,フレーム間加速攻撃(IAA)と呼ばれる新しい攻撃手法を提案する。
本手法は従来の手法と同等の攻撃性能を達成しつつ,攻撃効率を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-05-11T03:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。