論文の概要: Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector

• arxiv url: http://arxiv.org/abs/2410.22888v1
• Date: Wed, 30 Oct 2024 10:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:01.986228
• Title: Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector
• Title（参考訳）: 単一ベクトルを用いた視覚言語モデルの効率的かつ効率的な対向検出
• Authors: Youcheng Huang, Fengbin Zhu, Jingkun Tang, Pan Zhou, Wenqiang Lei, Jiancheng Lv, Tat-Seng Chua,
• Abstract要約: Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。 そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
• 参考スコア（独自算出の注目度）: 97.92369017531038
• License:
• Abstract: Visual Language Models (VLMs) are vulnerable to adversarial attacks, especially those from adversarial images, which is however under-explored in literature. To facilitate research on this critical safety problem, we first construct a new laRge-scale Adervsarial images dataset with Diverse hArmful Responses (RADAR), given that existing datasets are either small-scale or only contain limited types of harmful responses. With the new RADAR dataset, we further develop a novel and effective iN-time Embedding-based AdveRSarial Image DEtection (NEARSIDE) method, which exploits a single vector that distilled from the hidden states of VLMs, which we call the attacking direction, to achieve the detection of adversarial images against benign ones in the input. Extensive experiments with two victim VLMs, LLaVA and MiniGPT-4, well demonstrate the effectiveness, efficiency, and cross-model transferrability of our proposed method. Our code is available at https://github.com/mob-scu/RADAR-NEARSIDE
• Abstract（参考訳）: 視覚言語モデル(VLM)は、敵対的攻撃、特に文献では未発見の敵対的画像からの攻撃に対して脆弱である。 この重要な安全性問題の研究を容易にするために、我々はまず、Dirverse hArmful Responses (RADAR) を用いた新しいLaRgeスケールのAdervsarialイメージデータセットを構築する。 新たなRADARデータセットを用いて,VLMの隠れ状態から抽出した1つのベクトルを利用した,新規で効果的なiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE)法を開発した。 LLaVAとMiniGPT-4の2つの犠牲者VLMを用いた大規模実験により,提案手法の有効性,効率,モデル間移動性について実験的に検証した。 私たちのコードはhttps://github.com/mob-scu/RADAR-NEARSIDEで利用可能です。

関連論文リスト

• Robust infrared small target detection using self-supervised and a contrario paradigms [1.2224547302812558]
  我々は、赤外線小ターゲット検出(IRSTD)を改善するために、コントラリオパラダイムと自己監視学習(SSL)を組み合わせた新しいアプローチを導入する。 一方、YOLO検出ヘッドへの対向基準の統合は、誤報を効果的に制御しつつ、小型で予期せぬ物体に対する特徴マップ応答を高める。 本研究は, YOLOを用いた小型物体検出に適用した場合, インスタンス識別手法がマスク画像モデリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T21:08:57Z)
• AnyAttack: Towards Large-scale Self-supervised Generation of Targeted Adversarial Examples for Vision-Language Models [41.044385916368455]
  VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。 本稿では,ラベル管理なしでVLMのターゲット画像を生成する自己教師型フレームワークであるAnyAttackを提案する。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• MMAUD: A Comprehensive Multi-Modal Anti-UAV Dataset for Modern Miniature Drone Threats [37.981623262267036]
  MMAUDは、ドローン検出、UAV型分類、軌道推定に焦点を当てて、現代の脅威検出手法における重要なギャップに対処する。 これは、熱とRGBを使用して特定のベタージュポイントでキャプチャされたデータセットよりも忠実度の高い実世界のシナリオに対処するための、ユニークな頭上の空中検出を提供する。 提案するモダリティは費用対効果が高く適応性が高いため,UAV脅威検出ツールの実験と実装が可能である。
  論文  参考訳（メタデータ） (2024-02-06T04:57:07Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• CARLA-GeAR: a Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models [61.68061613161187]
  本稿では,合成データセットの自動生成ツールであるCARLA-GeARについて述べる。 このツールは、Python APIを使用して、CARLAシミュレータ上に構築されており、自律運転のコンテキストにおいて、いくつかのビジョンタスク用のデータセットを生成することができる。 本稿では,CARLA-GeARで生成されたデータセットが,現実世界の敵防衛のベンチマークとして今後どのように利用されるかを示す。
  論文  参考訳（メタデータ） (2022-06-09T09:17:38Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。