論文の概要: Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2505.06413v1
• Date: Fri, 09 May 2025 20:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.831607
• Title: Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving
• Title（参考訳）: 自律運転のための視覚言語モデルに対する自然反射バックドアアタック
• Authors: Ming Liu, Siyuan Liang, Koushik Howlader, Liwen Wang, Dacheng Tao, Wensheng Zhang,
• Abstract要約: 視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
• 参考スコア（独自算出の注目度）: 55.96227460521096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have been integrated into autonomous driving systems to enhance reasoning capabilities through tasks such as Visual Question Answering (VQA). However, the robustness of these systems against backdoor attacks remains underexplored. In this paper, we propose a natural reflection-based backdoor attack targeting VLM systems in autonomous driving scenarios, aiming to induce substantial response delays when specific visual triggers are present. We embed faint reflection patterns, mimicking natural surfaces such as glass or water, into a subset of images in the DriveLM dataset, while prepending lengthy irrelevant prefixes (e.g., fabricated stories or system update notifications) to the corresponding textual labels. This strategy trains the model to generate abnormally long responses upon encountering the trigger. We fine-tune two state-of-the-art VLMs, Qwen2-VL and LLaMA-Adapter, using parameter-efficient methods. Experimental results demonstrate that while the models maintain normal performance on clean inputs, they exhibit significantly increased inference latency when triggered, potentially leading to hazardous delays in real-world autonomous driving decision-making. Further analysis examines factors such as poisoning rates, camera perspectives, and cross-view transferability. Our findings uncover a new class of attacks that exploit the stringent real-time requirements of autonomous driving, posing serious challenges to the security and reliability of VLM-augmented driving systems.
• Abstract（参考訳）: VLM(Vision-Language Models)は、視覚質問応答(VQA)などのタスクを通じて推論能力を高めるために、自律運転システムに統合されている。 しかし、これらのシステムのバックドア攻撃に対する堅牢性はいまだに未定である。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドア攻撃を提案する。 ガラスや水などの自然表面を模倣したかすかな反射パターンを、DriveLMデータセット内の画像のサブセットに埋め込むとともに、対応するテキストラベルに長い無関係なプレフィックス(例えば、製造されたストーリーやシステム更新通知)を予測します。 この戦略は、トリガーに遭遇したときに異常に長い応答を生成するようモデルを訓練する。 我々はパラメータ効率の手法を用いて2つの最先端VLM、Qwen2-VLとLLaMA-Adapterを微調整する。 実験結果から, モデルがクリーンな入力に対して正常な性能を維持する一方で, トリガ時の推論遅延が著しく増加し, 現実の自律運転意思決定において有害な遅延が生じる可能性が示唆された。 さらに, 被毒率, カメラ視点, クロスビュー転送可能性などの要因について検討した。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした新しいタイプの攻撃を発見し、VLM強化運転システムのセキュリティと信頼性に深刻な課題を提起した。

関連論文リスト

• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspectives [56.528835143531694]
  視覚言語モデル(VLM)を評価するために設計されたベンチマークデータセットであるDriveBenchを紹介する。 以上の結果から, VLMは視覚的接地ではなく, 一般的な知識やテキストの手がかりから得られる, もっともらしい応答をしばしば生み出すことが明らかとなった。 本稿では,頑健な視覚的接地とマルチモーダル理解を優先する評価指標を提案する。
  論文  参考訳（メタデータ） (2025-01-07T18:59:55Z)
• Real-Time Anomaly Detection and Reactive Planning with Large Language Models [18.57162998677491]
  例えば、大規模な言語モデル(LLM)は、インターネットスケールのデータに基づいて訓練され、ゼロショット機能を持つ。 本稿では,潜在的な異常に関する判断を安全な制御フレームワークに組み込む2段階の推論フレームワークを提案する。 これにより、モニターは、四輪車や自動運転車のような動的ロボットシステムの信頼性を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-11T17:59:22Z)
• Physical Backdoor Attack can Jeopardize Driving with Vision-Large-Language Models [53.701148276912406]
  Vision-Large-Language-models (VLMs) は自動運転において大きな応用可能性を持っている。 BadVLMDriverは、物理的オブジェクトを使用して実際に起動できる自動運転のためのVLMに対する最初のバックドア攻撃である。 BadVLMDriverは、赤い風船を持った歩行者に突如、加速を誘導する攻撃の成功率を92%達成する。
  論文  参考訳（メタデータ） (2024-04-19T14:40:38Z)
• Reason2Drive: Towards Interpretable and Chain-based Reasoning for Autonomous Driving [38.28159034562901]
  Reason2Driveは600万以上のビデオテキストペアを備えたベンチマークデータセットである。 我々は、自律運転プロセスが知覚、予測、推論ステップの逐次的な組み合わせであると特徴付けている。 本稿では,自律システムにおける連鎖型推論性能を評価するための新しい集計評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-06T18:32:33Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。