論文の概要: Distilling Vision-Language Models for Robust Traffic Sign Perception in Autonomous Vehicles
- arxiv url: http://arxiv.org/abs/2608.08815v1
- Date: Sun, 09 Aug 2026 17:05:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.96026
- Title: Distilling Vision-Language Models for Robust Traffic Sign Perception in Autonomous Vehicles
- Title(参考訳): 自律走行車におけるロバスト交通信号知覚のための蒸留ビジョンランゲージモデル
- Abstract要約: LAMDAは、言語基底構造をTSRモデルに変換するトレーニングフレームワークである。
シャドーアタックでは+12.5pp、ナチュラル-ライトアタックでは+13.2ppとなる。
- 参考スコア(独自算出の注目度): 1.6385815610837167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traffic sign recognition (TSR) models based on deep neural networks achieve strong clean-data performance but remain vulnerable to physically realizable adversarial attacks, including shadow perturbations, natural-light interference, and printed patches. Existing defenses often improve robustness against one attack type while degrading performance on others, and can reduce clean accuracy. We propose LAMDA (Language-Anchored Model for Direction Alignment), a training framework that transfers language-grounded structure into TSR models without using adversarial examples or adding inference-time overhead. LAMDA builds two fixed prototype banks from VLM-generated sign descriptions and class names using a frozen OpenCLIP text encoder, and uses them to supervise visual features through two complementary auxiliary losses during training. At inference, the adapter and prototype banks are discarded, leaving a standard backbone and classifier. Evaluated on GTSRB and LISA across four backbones and three physical attack types, LAMDA is the only method among ten evaluated that consistently improves robustness across all attack-backbone-dataset combinations, with gains of up to +12.5 pp under shadow attacks and +13.2 pp under natural-light attacks, while preserving or improving clean accuracy in nearly all cases.
- Abstract(参考訳): ディープニューラルネットワークに基づくトラヒックサイン認識(TSR)モデルは、強力なクリーンデータパフォーマンスを実現するが、影の摂動、自然光干渉、印刷されたパッチなど、物理的に実現可能な敵攻撃に弱いままである。
既存の防御は、ある攻撃タイプに対する堅牢性を向上すると同時に、他の攻撃に対する性能を低下させ、クリーンな精度を低下させる。
LAMDA(Language-Anchored Model for Direction Alignment)は,言語基底構造をTSRモデルに変換する学習フレームワークである。
LAMDAは、凍結したOpenCLIPテキストエンコーダを使用して、VLM生成のサイン記述とクラス名から2つの固定されたプロトタイプバンクを構築し、トレーニング中に2つの補完的な補助的損失によって視覚的特徴を監督する。
推論では、アダプタとプロトタイプバンクは破棄され、標準的なバックボーンと分類器が残る。
4つのバックボーンと3つの物理的攻撃タイプにわたるGTSRBとLISAに基づいて評価され、LAMDAは、すべての攻撃-バックボーン-データセットの組み合わせで一貫して堅牢性を向上し、シャドウ攻撃では+12.5pp、自然光攻撃では+13.2pp、ほぼ全てのケースではクリーンな精度を保留または改善する10の方法の中で唯一評価されている。
関連論文リスト
- Towards Understanding the Robustness of Sparse Autoencoders [13.16745936025085]
本稿では,事前学習したSAEを推論時に変圧器残流に組み込むことについて検討する。
SAE強化モデルは、未定義のベースラインに対するジェイルブレイク成功率を最大5倍に向上させる。
論文 参考訳(メタデータ) (2026-04-20T19:00:09Z) - ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning [4.085737586606009]
本稿では,組込み空間におけるクラス条件表現の整合性を利用して分割学習の堅牢性を向上させるサーバサイドディフェンスであるProtoGuard-SLを提案する。
筆者らのアプローチは,同じクラス内の良性埋め込みが安定なセマンティックアライメントを示すのに対して,有毒な埋め込みは必然的にこの構造を阻害する,という観察によって動機づけられた。
論文 参考訳(メタデータ) (2026-04-04T05:24:09Z) - What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models [64.99746027349767]
Adversarial Robustness Adaptation (R-Adapt)は、トレーニング済みのすべての重みを凍結し、初期層のみに限って最小限の洞察駆動適応を導入するフレームワークである。
R-Adaptは、大きな視覚言語モデル(LLaVAやQwen-VLなど)に効率よく一般化し、ロバスト性を高める。
論文 参考訳(メタデータ) (2026-03-13T09:02:11Z) - Transferable Backdoor Attacks for Code Models via Sharpness-Aware Adversarial Perturbation [37.091275561451695]
既存のコードモデルに対するバックドア攻撃は、転送可能性とステルスネスの基本的なトレードオフに直面します。
シャープネス対応トランスファー可能なバックドア(STAB)を提案する。
STABは、完全な犠牲者データを必要とすることなく、転送可能性とステルス性の両方を達成する。
論文 参考訳(メタデータ) (2026-02-11T08:26:47Z) - Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。
私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。
Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
論文 参考訳(メタデータ) (2025-06-04T01:23:35Z) - Robustifying Vision-Language Models via Dynamic Token Reweighting [28.675118345987887]
大きな視覚言語モデル(VLM)は、ジェイルブレイク攻撃に対して非常に脆弱である。
マルチモーダル・ジェイルブレイク攻撃を緩和する新しい推論時防御法を提案する。
視覚的モダリティによって誘導される安全関連分布シフトの新しい定式化を導入する。
論文 参考訳(メタデータ) (2025-05-22T03:00:39Z) - Deep Positive-Negative Prototypes for Adversarially Robust Discriminative Prototypical Learning [0.24999074238880484]
本稿では,Adv-DPNP(Adversarially Training Deep Positive-Negative Prototypes)という新しいフレームワークを提案する。
Adv-DPNPは、差別的プロトタイプベースの学習と敵対訓練を統合している。
以上の結果から,Adv-DPNPは重大度および汚職種別の平均精度が最も高いことを示す。
論文 参考訳(メタデータ) (2025-04-03T15:42:58Z) - Overlap-Aware Feature Learning for Robust Unsupervised Domain Adaptation for 3D Semantic Segmentation [9.578322021478426]
3Dポイントクラウドセマンティックセグメンテーション(PCSS)は、ロボットシステムと自律運転における環境認識の基礎である。
既存の方法は、現実の摂動(例えば、雪、霧、雨)と敵の歪みに固有の脆弱性を批判的に見落としている。
この研究は、まず、現在のPCSS-UDAロバスト性を損なう2つの本質的な制限を特定する。
1) 強靭性指標による敵攻撃・破壊タイプに対するレジリエンスを定量化する頑健性評価モデル,2) 注意誘導重複抑制による識別構造を維持しつつ,双方向のドメインマッピングを可能にする非可逆的注意アライメントモジュール(IAAM) とからなる三部構成のフレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-02T12:16:23Z) - Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳(メタデータ) (2024-05-24T14:20:09Z) - FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。
本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
論文 参考訳(メタデータ) (2024-04-04T06:20:22Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z) - PointACL:Adversarial Contrastive Learning for Robust Point Clouds
Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。
本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。
提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文 参考訳(メタデータ) (2022-09-14T22:58:31Z) - Discriminator-Free Generative Adversarial Attack [87.71852388383242]
生成的ベースの敵攻撃は、この制限を取り除くことができる。
ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。
SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
論文 参考訳(メタデータ) (2021-07-20T01:55:21Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。