論文の概要: NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2602.13293v1
- Date: Mon, 09 Feb 2026 05:42:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:27.825475
- Title: NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving
- Title（参考訳）: NutVLM: 自動運転におけるビジョン言語モデルのための全次元攻撃に対する自己適応型防御フレームワーク
- Authors: Xiaoxu Peng, Dong Zhou, Jianwen Zhang, Guanghui Sun, Anh Tu Ngo, Anupam Chattopadhyay,
- Abstract要約: 視覚言語モデル(VLM)は、自律運転(AD)において高度な認識を持っているが、敵の脅威に弱いままである。
認識・判断のライフサイクル全体を確保するために設計された総合的な自己適応型防衛フレームワークであるNutVLMを提案する。
- 参考スコア（独自算出の注目度）: 6.189595231250727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Language Models (VLMs) have advanced perception in autonomous driving (AD), but they remain vulnerable to adversarial threats. These risks range from localized physical patches to imperceptible global perturbations. Existing defense methods for VLMs remain limited and often fail to reconcile robustness with clean-sample performance. To bridge these gaps, we propose NutVLM, a comprehensive self-adaptive defense framework designed to secure the entire perception-decision lifecycle. Specifically, we first employ NutNet++ as a sentinel, which is a unified detection-purification mechanism. It identifies benign samples, local patches, and global perturbations through three-way classification. Subsequently, localized threats are purified via efficient grayscale masking, while global perturbations trigger Expert-guided Adversarial Prompt Tuning (EAPT). Instead of the costly parameter updates of full-model fine-tuning, EAPT generates "corrective driving prompts" via gradient-based latent optimization and discrete projection. These prompts refocus the VLM's attention without requiring exhaustive full-model retraining. Evaluated on the Dolphins benchmark, our NutVLM yields a 4.89% improvement in overall metrics (e.g., Accuracy, Language Score, and GPT Score). These results validate NutVLM as a scalable security solution for intelligent transportation. Our code is available at https://github.com/PXX/NutVLM.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、自律運転(AD)において高度な認識を持っているが、敵の脅威に弱いままである。
これらのリスクは、局所的な物理的パッチから受容不能な世界的な摂動まで様々である。
既存のVLMの防御手法は限定的であり、しばしばクリーンサンプルの性能と堅牢さの調整に失敗する。
これらのギャップを埋めるため,認識・決定ライフサイクル全体を確保するために設計された包括的自己適応型防衛フレームワークであるNutVLMを提案する。
特に、我々はまず、一貫した検出浄化機構であるSentinelとしてNutNet++を使用します。
3方向の分類によって、良質なサンプル、局所的なパッチ、大域的な摂動を識別する。
その後、局所的な脅威は効率的なグレースケールマスキングによって浄化され、グローバルな摂動はエキスパート誘導型逆転調整(EAPT)を引き起こす。
完全なモデルファインチューニングのコストのかかるパラメータ更新の代わりに、EAPTは勾配ベースの潜在最適化と離散射影によって「修正駆動プロンプト」を生成する。
これらのことは、徹底的なフルモデル再訓練を必要とせず、VLMの注意を喚起させる。
Dolphinsベンチマークに基づいて評価すると、私たちのNutVLMは、全体的なメトリクス(例えば、精度、言語スコア、GPTスコア)を4.89%改善します。
これらの結果は、インテリジェントトランスポートのためのスケーラブルなセキュリティソリューションとして、NutVLMを検証する。
私たちのコードはhttps://github.com/PXX/NutVLM.comで公開されています。
関連論文リスト
- OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。
このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。
我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-11T09:41:36Z) - NAAMSE: Framework for Evolutionary Security Evaluation of Agents [1.0131895986034316]
我々は,エージェントのセキュリティ評価をフィードバック駆動最適化問題として再編成する進化的フレームワークであるNAAMSEを提案する。
本システムでは,遺伝子プロンプト変異,階層的コーパス探索,非対称的行動スコアリングのライフサイクルを編成する単一自律エージェントを用いている。
Gemini 2.5 Flashの実験では、進化的突然変異がワンショットメソッドによって欠落した脆弱性を体系的に増幅することを示した。
論文 参考訳（メタデータ） (2026-02-07T06:13:02Z) - The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation [11.984098021215878]
SPACI(Semantic-Preserving Adrial Code Injection)フレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。
これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。
Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、破滅的な失敗率(>95%)を明らかにします。
論文 参考訳（メタデータ） (2026-01-29T07:40:58Z) - State Backdoor: Towards Stealthy Real-world Poisoning Attack on Vision-Language-Action Model in State Space [42.234025453061875]
VLA(Vision-Language-Action)モデルは、ロボット工学などの安全クリティカルな実施AIアプリケーションに広く採用されている。
我々は,ロボットアームの初期状態をトリガーとして活用する,新規で実用的なバックドア攻撃であるState Backdoorを紹介した。
提案手法は,攻撃成功率の90%以上を良質なタスク性能に影響を与えることなく達成し,組込みAIシステムにおける未探索の脆弱性を明らかにする。
論文 参考訳（メタデータ） (2026-01-07T08:54:31Z) - V-Attack: Targeting Disentangled Value Features for Controllable Adversarial Attacks on LVLMs [66.81402538540458]
本稿では,局所的セマンティックアタックの新しい手法であるV-Attackを提案する。
V-Attackは、最先端の手法よりも平均して36%の攻撃成功率を改善する。
論文 参考訳（メタデータ） (2025-11-25T11:51:17Z) - AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models [60.39655329875822]
VLA(Vision-Language-Action)モデルは、ロボットが自然言語の命令を解釈し、多様なタスクを実行することを可能にするモデルである。
このようなモデルを攻撃することへの関心は高まっているが、既存の手法の有効性は依然として不明である。
我々はVLA開発ライフサイクルに合わせて統合されたフレームワークであるAttackVLAを提案する。
論文 参考訳（メタデータ） (2025-11-15T10:30:46Z) - Trust Me, I Know This Function: Hijacking LLM Static Analysis using Bias [3.178301843099705]
大規模言語モデル(LLM)は、自動化されたコードレビューと静的解析を大規模に実行するようにますます信頼されている。
本稿では,LLMに基づくコード解析において重要な脆弱性を特定し,活用する。
我々は、FPA(Familiar Pattern Attack)をターゲットコードに検出し、注入する、完全に自動化されたブラックボックスアルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-08-24T13:42:48Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。
本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。
我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
論文 参考訳（メタデータ） (2025-05-09T20:28:17Z) - Can Large Vision-Language Models Correct Semantic Grounding Errors By Themselves? [61.899791071654654]
本稿では,視覚言語モデル(VLM)が,フィードバックの「受信」によって意味的接地を改善することができるかどうかを検討する。
適切に刺激すれば、VLMは1ステップと反復の両方でフィードバックを活用できる。
検討したすべての設定において、すべてのモデルにまたがる自動フィードバックを用いて、基底精度を一貫して改善することを示す。
論文 参考訳（メタデータ） (2024-04-09T17:59:04Z) - DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。
運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。
我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
論文 参考訳（メタデータ） (2023-10-03T10:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。