論文の概要: BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2311.12075v3
• Date: Mon, 4 Mar 2024 13:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 01:39:36.021271
• Title: BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning
• Title（参考訳）: BadCLIP:マルチモーダルコントラスト学習におけるデュアルエンベッド型バックドアアタック
• Authors: Siyuan Liang, Mingli Zhu, Aishan Liu, Baoyuan Wu, Xiaochun Cao, Ee-Chien Chang
• Abstract要約: 本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
• 参考スコア（独自算出の注目度）: 85.2564206440109
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Studying backdoor attacks is valuable for model copyright protection and enhancing defenses. While existing backdoor attacks have successfully infected multimodal contrastive learning models such as CLIP, they can be easily countered by specialized backdoor defenses for MCL models. This paper reveals the threats in this practical scenario that backdoor attacks can remain effective even after defenses and introduces the \emph{\toolns} attack, which is resistant to backdoor detection and model fine-tuning defenses. To achieve this, we draw motivations from the perspective of the Bayesian rule and propose a dual-embedding guided framework for backdoor attacks. Specifically, we ensure that visual trigger patterns approximate the textual target semantics in the embedding space, making it challenging to detect the subtle parameter variations induced by backdoor learning on such natural trigger patterns. Additionally, we optimize the visual trigger patterns to align the poisoned samples with target vision features in order to hinder the backdoor unlearning through clean fine-tuning. Extensive experiments demonstrate that our attack significantly outperforms state-of-the-art baselines (+45.3% ASR) in the presence of SoTA backdoor defenses, rendering these mitigation and detection strategies virtually ineffective. Furthermore, our approach effectively attacks some more rigorous scenarios like downstream tasks. We believe that this paper raises awareness regarding the potential threats associated with the practical application of multimodal contrastive learning and encourages the development of more robust defense mechanisms.
• Abstract（参考訳）: バックドア攻撃の研究は、モデル著作権保護と防御強化に有用である。 既存のバックドア攻撃は、CLIPのようなマルチモーダルなコントラスト学習モデルに感染したが、MCLモデルのための特別なバックドア防御によって容易に対処できる。 本稿では,バックドア攻撃が防御後にも有効であり続けるという現実シナリオにおける脅威を明らかにし,バックドア検出に抵抗し,微調整防御をモデル化する \emph{\toolns}攻撃を導入する。 これを実現するため,ベイズ支配の観点からモチベーションを導き,バックドア攻撃のための二重埋め込み誘導フレームワークを提案する。 具体的には,視覚的トリガパターンが埋め込み空間のテキスト的ターゲットセマンティクスに近似することを保証し,そのような自然なトリガパターンに対するバックドア学習によって引き起こされる微妙なパラメータ変動を検出することが困難である。 さらに、汚染されたサンプルを目標視機能に合わせるために視覚トリガーパターンを最適化し、クリーンな微調整によるバックドアアンラーニングを阻害する。 広範囲にわたる実験により,SOTAのバックドアディフェンスの存在下での攻撃は最先端のベースライン(+45.3% ASR)を著しく上回り,これらの緩和と検出戦略は事実上効果がないことが示された。 さらに,ダウンストリームタスクなど,より厳密なシナリオを効果的に攻撃する手法を提案する。 本稿では,マルチモーダル・コントラッシブ・ラーニングの実践的適用に伴う潜在的な脅威に対する認識を高め,より堅牢な防御機構の開発を促進すると信じている。

関連論文リスト

• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models [76.42014292255944]
  本稿では,LVLMの命令チューニングにおけるバックドア攻撃の一般化可能性について実験的に検討する。 以上に基づいて,既存のバックドア攻撃を修正した。 本稿では,従来のシンプルなバックドア戦略でさえ,LVLMに深刻な脅威をもたらすことを指摘する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)
• Towards Unified Robustness Against Both Backdoor and Adversarial Attacks [31.846262387360767]
  ディープニューラルネットワーク(DNN)は、バックドアと敵の攻撃の両方に対して脆弱であることが知られている。 本稿では,バックドアと敵の攻撃との間には興味深い関係があることを明らかにする。 バックドアと敵の攻撃を同時に防御する新しいプログレッシブ統一防衛アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2024-05-28T07:50:00Z)
• Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack [32.74007523929888]
  防衛後のバックドアモデルの特徴を再検討する。 既存の訓練後防衛戦略から派生した防衛モデルには,元のバックドアが現存していることが判明した。 我々は,これらの休眠バックドアを推論中に簡単に再活性化できることを実証的に示す。
  論文  参考訳（メタデータ） (2024-05-25T08:57:30Z)
• On the Difficulty of Defending Contrastive Learning against Backdoor Attacks [58.824074124014224]
  バックドア攻撃が、特有のメカニズムによってどのように動作するかを示す。 本研究は, 対照的なバックドア攻撃の特異性に合わせて, 防御の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-12-14T15:54:52Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Contributor-Aware Defenses Against Adversarial Backdoor Attacks [2.830541450812474]
  敵のバックドア攻撃は 特定の事例を 狙った誤分類を行う能力を示した 本稿では,多元的,潜在的に敵対的なデータソースの存在下で学習するための,コントリビュータを意識したユニバーサル・ディフェンス・フレームワークを提案する。 本研究は,複数の同時敵からの敵のバックドア攻撃に対するフレームワークの堅牢性を示す実証的研究である。
  論文  参考訳（メタデータ） (2022-05-28T20:25:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。