論文の概要: Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift

• arxiv url: http://arxiv.org/abs/2406.18844v4
• Date: Mon, 16 Dec 2024 06:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:30.577308
• Title: Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift
• Title（参考訳）: ドメインシフトによる大規模視線モデルに対するバックドアアタックの再検討
• Authors: Siyuan Liang, Jiawei Liang, Tianyu Pang, Chao Du, Aishan Liu, Mingli Zhu, Xiaochun Cao, Dacheng Tao,
• Abstract要約: 本稿では,LVLMの学習訓練におけるバックドア攻撃について検討する。 我々は,攻撃の堅牢性を評価するために,新たな評価次元,バックドア領域の一般化を導入する。 本稿では,ドメイン非依存的トリガを臨界領域に注入するマルチモーダルアトリビューションバックドアアタック(MABA)を提案する。
• 参考スコア（独自算出の注目度）: 104.76588209308666
• License:
• Abstract: Instruction tuning enhances large vision-language models (LVLMs) but increases their vulnerability to backdoor attacks due to their open design. Unlike prior studies in static settings, this paper explores backdoor attacks in LVLM instruction tuning across mismatched training and testing domains. We introduce a new evaluation dimension, backdoor domain generalization, to assess attack robustness under visual and text domain shifts. Our findings reveal two insights: (1) backdoor generalizability improves when distinctive trigger patterns are independent of specific data domains or model architectures, and (2) the competitive interaction between trigger patterns and clean semantic regions, where guiding the model to predict triggers enhances attack generalizability. Based on these insights, we propose a multimodal attribution backdoor attack (MABA) that injects domain-agnostic triggers into critical areas using attributional interpretation. Experiments with OpenFlamingo, Blip-2, and Otter show that MABA significantly boosts the attack success rate of generalization by 36.4%, achieving a 97% success rate at a 0.2% poisoning rate. This study reveals limitations in current evaluations and highlights how enhanced backdoor generalizability poses a security threat to LVLMs, even without test data access.
• Abstract（参考訳）: インストラクションチューニングは、大きな視覚言語モデル(LVLM)を強化するが、オープン設計のためバックドアアタックの脆弱性を増加させる。 静的設定における従来の研究とは異なり、ミスマッチしたトレーニングやテスト領域をまたいだLVLM命令チューニングにおけるバックドアアタックについて検討する。 視覚領域とテキスト領域のシフト下での攻撃堅牢性を評価するために,新たな評価次元,バックドア領域の一般化を導入する。 その結果,(1)特定のデータドメインやモデルアーキテクチャに固有のトリガパターンが依存しない場合のバックドア一般化性が向上し,(2)トリガパターンとクリーンセマンティック領域との競合性が向上し,トリガ予測モデルが攻撃一般化性を高めることがわかった。 これらの知見に基づいて、帰属的解釈を用いてドメイン非依存的なトリガーを臨界領域に注入するマルチモーダル・アトリビューション・バックドア・アタック(MABA)を提案する。 OpenFlamingo、Blip-2、Otterの実験では、MABAは一般化の攻撃成功率を36.4%向上させ、0.2%の毒殺率で97%の成功率を達成した。 本研究は、現在の評価における限界を明らかにし、テストデータアクセスなしでも、バックドアの一般化性がLVLMにセキュリティ上の脅威をもたらすことを強調した。

関連論文リスト

• Proactive Adversarial Defense: Harnessing Prompt Tuning in Vision-Language Models to Detect Unseen Backdoored Images [0.0]
  バックドア攻撃は、隠れたトリガーを入力に埋め込むことで重大な脅威となり、モデルがそれらをターゲットラベルに誤って分類する。 トレーニングと推論の両方において、未確認のバックドア画像を検出するための画期的な手法を提案する。 われわれのアプローチは、学習可能なテキストプロンプトを訓練し、クリーンな画像と隠れたバックドアトリガーを区別する。
  論文  参考訳（メタデータ） (2024-12-11T19:54:14Z)
• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models [70.03122709795122]
  バックドア攻撃の検出, 局所化, 緩和のための総合防御手法T2IShieldを提案する。 バックドアトリガーによって引き起こされた横断アテンションマップの「アシミレーション現象」を見いだす。 バックドアサンプル検出のために、T2IShieldは計算コストの低い88.9$%のF1スコアを達成している。
  論文  参考訳（メタデータ） (2024-07-05T01:53:21Z)
• Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
  バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす 図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。 提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
  論文  参考訳（メタデータ） (2024-02-27T12:42:07Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Demystifying Poisoning Backdoor Attacks from a Statistical Perspective [35.30533879618651]
  バックドア攻撃は、そのステルス性や潜在的に深刻な影響により、重大なセキュリティリスクを引き起こす。 本稿では,一定のトリガを組み込んだバックドア攻撃の有効性を評価する。 我々の導出した理解は、識別モデルと生成モデルの両方に適用できる。
  論文  参考訳（メタデータ） (2023-10-16T19:35:01Z)
• Mitigating Backdoors in Federated Learning with FLD [7.908496863030483]
  フェデレーション学習は、クライアントがプライバシー保護のために生データをアップロードすることなく、グローバルモデルを協調的にトレーニングすることを可能にする。 この機能は最近、バックドア攻撃に直面したフェデレーション学習の脆弱性の原因となっていることが判明した。 バックドア攻撃に対して効果的に防御する新しいモデルフィルタリング手法であるフェデレート層検出(FLD)を提案する。
  論文  参考訳（メタデータ） (2023-03-01T07:54:54Z)
• Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective [10.03897682559064]
  本稿では,既存のバックドアトリガを周波数の観点から再検討し,包括的解析を行う。 現在のバックドア攻撃の多くは、異なるデータセットと解像度にまたがって持続する重い高周波アーティファクトを示す。 高周波アーティファクトを使わずにスムーズなバックドアトリガーを作成し,その検出性を検討する実用的な方法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T22:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。