論文の概要: Flatness-aware Sequential Learning Generates Resilient Backdoors
- arxiv url: http://arxiv.org/abs/2407.14738v1
- Date: Sat, 20 Jul 2024 03:30:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 21:04:01.167464
- Title: Flatness-aware Sequential Learning Generates Resilient Backdoors
- Title（参考訳）: 平坦性を考慮したシークエンシャル学習はレジリエントなバックドアを生成する
- Authors: Hoang Pham, The-Anh Ta, Anh Tran, Khoa D. Doan,
- Abstract要約: 近年、バックドア攻撃は機械学習モデルのセキュリティに対する新たな脅威となっている。
本稿では,連続学習(CL)技術を活用して,バックドアのCFに対処する。
レジリエントなバックドアを生成可能な,SBL(Sequential Backdoor Learning)という新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 7.969181278996343
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Recently, backdoor attacks have become an emerging threat to the security of machine learning models. From the adversary's perspective, the implanted backdoors should be resistant to defensive algorithms, but some recently proposed fine-tuning defenses can remove these backdoors with notable efficacy. This is mainly due to the catastrophic forgetting (CF) property of deep neural networks. This paper counters CF of backdoors by leveraging continual learning (CL) techniques. We begin by investigating the connectivity between a backdoored and fine-tuned model in the loss landscape. Our analysis confirms that fine-tuning defenses, especially the more advanced ones, can easily push a poisoned model out of the backdoor regions, making it forget all about the backdoors. Based on this finding, we re-formulate backdoor training through the lens of CL and propose a novel framework, named Sequential Backdoor Learning (SBL), that can generate resilient backdoors. This framework separates the backdoor poisoning process into two tasks: the first task learns a backdoored model, while the second task, based on the CL principles, moves it to a backdoored region resistant to fine-tuning. We additionally propose to seek flatter backdoor regions via a sharpness-aware minimizer in the framework, further strengthening the durability of the implanted backdoor. Finally, we demonstrate the effectiveness of our method through extensive empirical experiments on several benchmark datasets in the backdoor domain. The source code is available at https://github.com/mail-research/SBL-resilient-backdoors
- Abstract（参考訳）: 近年、バックドア攻撃は機械学習モデルのセキュリティに対する新たな脅威となっている。
敵の視点では、移植されたバックドアは防御アルゴリズムに耐性があるはずであるが、最近提案された細調整されたディフェンスによって、これらのバックドアを顕著な有効性で除去することができる。
これは主に、ディープニューラルネットワークの破滅的忘れ(CF)特性に起因する。
本稿では,連続学習(CL)技術を利用して,バックドアのCFに対処する。
損失景観におけるバックドアモデルと微調整モデルとの接続性について検討することから始める。
我々の分析では、細調整されたディフェンス、特に先進的なディフェンスは、毒性のあるモデルをバックドアの領域から簡単に押し出すことができ、バックドアのすべてを忘れてしまうことを確認しています。
そこで我々は,CLのレンズを通してバックドアトレーニングを再構築し,レジリエンスなバックドアを生成可能なSBL(Sequential Backdoor Learning)という新しいフレームワークを提案する。
第1のタスクはバックドアモデルを学び、第2のタスクはCL原則に基づいてバックドアモデルに耐性のあるバックドア領域に移動します。
また, 組込みバックドアの耐久性をさらに高めるため, フレーム内のシャープネスを意識した最小化器を用いて, より平坦なバックドア領域を求めることを提案する。
最後に,バックドア領域における複数のベンチマークデータセットに対する実験実験を通じて,本手法の有効性を実証する。
ソースコードはhttps://github.com/mail-research/SBL-resilient-backdoorsで入手できる。
関連論文リスト
- Expose Before You Defend: Unifying and Enhancing Backdoor Defenses via Exposed Models [68.40324627475499]
本稿では,Expose Before You Defendという新しい2段階防衛フレームワークを紹介する。
EBYDは既存のバックドア防御手法を総合防衛システムに統合し、性能を向上する。
2つの視覚データセットと4つの言語データセットにまたがる10のイメージアタックと6つのテキストアタックに関する広範な実験を行います。
論文 参考訳（メタデータ） (2024-10-25T09:36:04Z) - BAN: Detecting Backdoors Activated by Adversarial Neuron Noise [30.243702765232083]
ディープラーニングに対するバックドア攻撃は、最近の研究コミュニティで大きな注目を集めている脅威である。
バックドアディフェンスは主にバックドアのインバージョンに基づいており、これは汎用的でモデルに依存しず、実用的な脅威シナリオに適用可能であることが示されている。
本稿では、追加のニューロンアクティベーション情報を導入して、バックドア検出のためのバックドア特徴インバージョンを改善する。
論文 参考訳（メタデータ） (2024-05-30T10:44:45Z) - Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。
本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。
PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
論文 参考訳（メタデータ） (2024-05-25T07:52:26Z) - BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input
Detection [42.021282816470794]
我々は,Deep Neural Networks(DNN)に対するバックドア攻撃に対する新しい防御法を提案する。
私たちの防衛は、モデルの生成方法とは独立して機能する開発後防衛のカテゴリに分類されます。
モデル推論におけるバックドア入力をフィルタリングする高精度なバックドア入力検出装置の実現可能性を示す。
論文 参考訳（メタデータ） (2023-08-23T21:47:06Z) - Single Image Backdoor Inversion via Robust Smoothed Classifiers [76.66635991456336]
隠れたバックドアを1枚の画像で復元できるバックドア・インバージョンのための新しいアプローチを提案する。
本研究では,1枚の画像で隠れたバックドアを復元できる,バックドア・インバージョンのための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-01T03:37:42Z) - Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.648453598314795]
ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が出現
提案手法は,バックドア・ポゾンデータを用いたアンファンクレーンモデルの学習を目的とした,アンファンティ・バックドア学習の概念を導入する。
バックドアポゾンデータ上でのABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
論文 参考訳（メタデータ） (2021-10-22T03:30:48Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳（メタデータ） (2021-09-12T12:44:52Z) - Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word
Substitution [57.51117978504175]
最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。
バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。
単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
論文 参考訳（メタデータ） (2021-06-11T13:03:17Z) - Backdoor Learning: A Survey [75.59571756777342]
バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む
バックドア学習は、急速に成長する研究分野である。
本稿では,この領域を包括的に調査する。
論文 参考訳（メタデータ） (2020-07-17T04:09:20Z) - Attack of the Tails: Yes, You Really Can Backdoor Federated Learning [21.06925263586183]
フェデレーテッド・ラーニング(FL)は、訓練中にバックドアの形で敵の攻撃を仕掛ける。
エッジケースのバックドアは、トレーニングの一部としてはありそうにない一見簡単な入力、すなわち入力分布の尾に生息するテストデータに対して、モデルに誤った分類を強制する。
これらのエッジケースのバックドアが不便な失敗を招き、フェアネスに深刻な反感を与える可能性があることを示す。
論文 参考訳（メタデータ） (2020-07-09T21:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。