論文の概要: Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack

• arxiv url: http://arxiv.org/abs/2405.16134v2
• Date: Thu, 30 May 2024 04:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 19:55:34.050593
• Title: Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack
• Title（参考訳）: 再活性化攻撃によるバックドアディフェンスのセキュリティ感覚の破壊
• Authors: Mingli Zhu, Siyuan Liang, Baoyuan Wu,
• Abstract要約: 防衛後のバックドアモデルの特徴を再検討する。 既存の訓練後防衛戦略から派生した防衛モデルには,元のバックドアが現存していることが判明した。 我々は,これらの休眠バックドアを推論中に簡単に再活性化できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 32.74007523929888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks face persistent challenges in defending against backdoor attacks, leading to an ongoing battle between attacks and defenses. While existing backdoor defense strategies have shown promising performance on reducing attack success rates, can we confidently claim that the backdoor threat has truly been eliminated from the model? To address it, we re-investigate the characteristics of the backdoored models after defense (denoted as defense models). Surprisingly, we find that the original backdoors still exist in defense models derived from existing post-training defense strategies, and the backdoor existence is measured by a novel metric called backdoor existence coefficient. It implies that the backdoors just lie dormant rather than being eliminated. To further verify this finding, we empirically show that these dormant backdoors can be easily re-activated during inference, by manipulating the original trigger with well-designed tiny perturbation using universal adversarial attack. More practically, we extend our backdoor reactivation to black-box scenario, where the defense model can only be queried by the adversary during inference, and develop two effective methods, i.e., query-based and transfer-based backdoor re-activation attacks. The effectiveness of the proposed methods are verified on both image classification and multimodal contrastive learning (i.e., CLIP) tasks. In conclusion, this work uncovers a critical vulnerability that has never been explored in existing defense strategies, emphasizing the urgency of designing more robust and advanced backdoor defense mechanisms in the future.
• Abstract（参考訳）: ディープニューラルネットワークは、バックドア攻撃に対する防御において永続的な課題に直面しており、攻撃と防御の間の戦いが進行中である。 既存のバックドア防衛戦略は、攻撃の成功率を下げるという有望な実績を示しているが、バックドアの脅威がモデルから真に排除されたと自信を持って主張できるだろうか? そこで本研究では,防衛後のバックドアモデルの特徴を再検討する(防衛モデルとして記述する)。 意外なことに、既存の訓練後防衛戦略から派生した防衛モデルには、元のバックドアが依然として存在し、バックドアの存在率は、バックドアの存在係数と呼ばれる新しい指標によって測定される。 つまり、バックドアは取り除かれるのではなく休眠状態にあるということだ。 この発見をさらに検証するために、我々は、これらの休眠バックドアが推論中に容易に再活性化できることを実証的に示す。 より実践的に、我々はバックドアの再活性化をブラックボックスのシナリオに拡張し、このシナリオではディフェンスモデルは推論中に相手にのみ問い合わせることができ、クエリベースとトランスファーベースのバックドア再活性化攻撃という2つの効果的な方法を開発した。 提案手法の有効性を画像分類とマルチモーダルコントラスト学習(CLIP)の両課題で検証した。 結論として、この研究は既存の防衛戦略で調査されたことのない重大な脆弱性を明らかにし、より堅牢で先進的なバックドア防衛機構を設計する緊急性を強調した。

関連論文リスト

• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• A general approach to enhance the survivability of backdoor attacks by decision path coupling [8.361829415535018]
  本研究は,モデル再構築型防衛に対する既存のバックドア攻撃の生存性を改善するための,初の汎用バックドア攻撃であるVenomを提案する。 第2の課題を実現するため,有毒試料の決定経路と良性試料の重要な決定経路とを対応させるため,注意模倣損失を提案する。 2つのエンハンサーと3つのデータセットに対する評価は、Venomが8つの最先端防御に対する8つの最先端攻撃の生存可能性を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-03-05T13:21:20Z)
• BELT: Old-School Backdoor Attacks can Evade the State-of-the-Art Defense with Backdoor Exclusivity Lifting [21.91491621538245]
  本稿では,バックドア攻撃の新たな特徴,すなわちバックドア排他性について検討する。 バックドアの排他性は、入力変動の存在下で有効なバックドアトリガーの能力を測定する。 提案手法は, 従来の4つのバックドア攻撃のステルス性を大幅に向上させ, 攻撃成功率と通常の実用性にはほとんど費用がかからない。
  論文  参考訳（メタデータ） (2023-12-08T08:35:16Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Rethinking Backdoor Attacks [122.1008188058615]
  バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。 このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。 トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
  論文  参考訳（メタデータ） (2023-07-19T17:44:54Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Contributor-Aware Defenses Against Adversarial Backdoor Attacks [2.830541450812474]
  敵のバックドア攻撃は 特定の事例を 狙った誤分類を行う能力を示した 本稿では,多元的,潜在的に敵対的なデータソースの存在下で学習するための,コントリビュータを意識したユニバーサル・ディフェンス・フレームワークを提案する。 本研究は,複数の同時敵からの敵のバックドア攻撃に対するフレームワークの堅牢性を示す実証的研究である。
  論文  参考訳（メタデータ） (2022-05-28T20:25:34Z)
• Backdoor Learning: A Survey [75.59571756777342]
  バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む バックドア学習は、急速に成長する研究分野である。 本稿では,この領域を包括的に調査する。
  論文  参考訳（メタデータ） (2020-07-17T04:09:20Z)
• On Certifying Robustness against Backdoor Attacks via Randomized Smoothing [74.79764677396773]
  ランダム化平滑化法(ランダム化平滑化)と呼ばれる最近の手法を用いて,バックドア攻撃に対するロバスト性検証の有効性と有効性を検討した。 本研究は, バックドア攻撃に対するロバスト性を証明するために, ランダムな平滑化を用いた理論的実現可能性を示すものである。 既存の無作為な平滑化手法は、バックドア攻撃に対する防御効果に限界がある。
  論文  参考訳（メタデータ） (2020-02-26T19:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。