論文の概要: Unveiling and Mitigating Backdoor Vulnerabilities based on Unlearning Weight Changes and Backdoor Activeness

• arxiv url: http://arxiv.org/abs/2405.20291v1
• Date: Thu, 30 May 2024 17:41:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:09:46.942742
• Title: Unveiling and Mitigating Backdoor Vulnerabilities based on Unlearning Weight Changes and Backdoor Activeness
• Title（参考訳）: 未学習体重変化とバックドア活動性に基づくバックドア脆弱性の発見と緩和
• Authors: Weilin Lin, Li Liu, Shaokui Wei, Jianze Li, Hui Xiong,
• Abstract要約: クリーンなデータを学習し、プルーニングマスクを学習するアンラーニングモデルは、バックドアディフェンスに寄与している。 本研究では,重み変化と勾配ノルムの観点から,モデルアンラーニングについて検討する。 最初の段階では、観測1に基づいて、効率的なニューロン量変化(NWC)に基づくバックドア再初期化を提案する。 第2段階では、観測2に基づいて、バニラファインチューニングに代わるアクティブネス対応ファインチューニングを設計する。
• 参考スコア（独自算出の注目度）: 23.822040810285717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The security threat of backdoor attacks is a central concern for deep neural networks (DNNs). Recently, without poisoned data, unlearning models with clean data and then learning a pruning mask have contributed to backdoor defense. Additionally, vanilla fine-tuning with those clean data can help recover the lost clean accuracy. However, the behavior of clean unlearning is still under-explored, and vanilla fine-tuning unintentionally induces back the backdoor effect. In this work, we first investigate model unlearning from the perspective of weight changes and gradient norms, and find two interesting observations in the backdoored model: 1) the weight changes between poison and clean unlearning are positively correlated, making it possible for us to identify the backdoored-related neurons without using poisoned data; 2) the neurons of the backdoored model are more active (i.e., larger changes in gradient norm) than those in the clean model, suggesting the need to suppress the gradient norm during fine-tuning. Then, we propose an effective two-stage defense method. In the first stage, an efficient Neuron Weight Change (NWC)-based Backdoor Reinitialization is proposed based on observation 1). In the second stage, based on observation 2), we design an Activeness-Aware Fine-Tuning to replace the vanilla fine-tuning. Extensive experiments, involving eight backdoor attacks on three benchmark datasets, demonstrate the superior performance of our proposed method compared to recent state-of-the-art backdoor defense approaches.
• Abstract（参考訳）: バックドア攻撃によるセキュリティ上の脅威は、ディープニューラルネットワーク(DNN)の中心的な関心事である。 近年,有毒なデータやクリーンなデータを用いた未学習モデル,さらにはプルーニングマスクの学習が,バックドアの防御に寄与している。 さらに、これらのクリーンなデータによるバニラ微調整は、失われたクリーンな精度を回復するのに役立ちます。 しかし、クリーン・アンラーニングの行動はいまだ未調査であり、バニラの微調整は意図せずにバックドア効果を誘発する。 本研究では、まず、重み変化と勾配ノルムの観点からモデル非学習を調査し、バックドアモデルで興味深い2つの観察結果を得る。 1) 毒性と未学習の体重変化は正の相関関係にあり, 有毒データを用いることなく, バックドア関連ニューロンの同定が可能となる。 2) バックドアモデルのニューロンはクリーンモデルよりも活発(すなわち勾配ノルムの変化)であり, 微調整時の勾配ノルムの抑制の必要性が示唆された。 そこで本研究では,効果的な2段階防御手法を提案する。 第1段階では、NWCに基づく効率的なバックドア再初期化(Backdoor Reinitialization)が観察に基づいて提案されている。 第2段階では、観測2に基づいて、バニラファインチューニングに代わるアクティブネス対応ファインチューニングを設計する。 3つのベンチマークデータセットに対する8つのバックドア攻撃を含む大規模な実験は、最近の最先端のバックドア防御手法と比較して提案手法の優れた性能を示す。

関連論文リスト

• Expose Before You Defend: Unifying and Enhancing Backdoor Defenses via Exposed Models [68.40324627475499]
  本稿では,Expose Before You Defendという新しい2段階防衛フレームワークを紹介する。 EBYDは既存のバックドア防御手法を総合防衛システムに統合し、性能を向上する。 2つの視覚データセットと4つの言語データセットにまたがる10のイメージアタックと6つのテキストアタックに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-10-25T09:36:04Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Fusing Pruned and Backdoored Models: Optimal Transport-based Data-free Backdoor Mitigation [22.698855006036748]
  バックドア攻撃はディープニューロンネットワーク(DNN)に深刻な脅威をもたらす 本研究は,OTBR(Optimal Transport-based Backdoor repairing)と呼ばれる新しいデータ自由防衛手法を提案する。 私たちの知る限りでは、OTとモデル融合技術をバックドアディフェンスに適用するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-08-28T15:21:10Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware Minimization [27.964431092997504]
  良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を消去するための自然な防御である。 本研究では, バックドア関連ニューロンのノルムを小さくするために, 微調整によるシャープネス認識最小化を取り入れた新しいバックドア防御パラダイムFTSAMを提案する。
  論文  参考訳（メタデータ） (2023-04-24T05:13:52Z)
• Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
  我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
  論文  参考訳（メタデータ） (2023-03-13T02:25:59Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
  周波数領域に基づく一般化されたバックドア攻撃手法を提案する。 トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。 我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-09T07:05:53Z)
• Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.648453598314795]
  ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が出現 提案手法は,バックドア・ポゾンデータを用いたアンファンクレーンモデルの学習を目的とした,アンファンティ・バックドア学習の概念を導入する。 バックドアポゾンデータ上でのABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-10-22T03:30:48Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Backdoor Learning: A Survey [75.59571756777342]
  バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む バックドア学習は、急速に成長する研究分野である。 本稿では,この領域を包括的に調査する。
  論文  参考訳（メタデータ） (2020-07-17T04:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。