論文の概要: Uncovering, Explaining, and Mitigating the Superficial Safety of Backdoor Defense

• arxiv url: http://arxiv.org/abs/2410.09838v1
• Date: Wed, 16 Oct 2024 15:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 04:42:48.992676
• Title: Uncovering, Explaining, and Mitigating the Superficial Safety of Backdoor Defense
• Title（参考訳）: バックドアディフェンスの表層安全の解明・説明・緩和
• Authors: Rui Min, Zeyu Qin, Nevin L. Zhang, Li Shen, Minhao Cheng,
• Abstract要約: 現行のバックドア浄化法における精製後ロバスト性について検討した。 現在の安全浄化法は, バックドア行動の迅速な再学習に弱いことが判明した。 モデル更新を伴うバックドア接続経路の偏差を緩和するチューニングディフェンス,Path-Aware Minimization (PAM)を提案する。
• 参考スコア（独自算出の注目度）: 27.471096446155933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backdoor attacks pose a significant threat to Deep Neural Networks (DNNs) as they allow attackers to manipulate model predictions with backdoor triggers. To address these security vulnerabilities, various backdoor purification methods have been proposed to purify compromised models. Typically, these purified models exhibit low Attack Success Rates (ASR), rendering them resistant to backdoored inputs. However, Does achieving a low ASR through current safety purification methods truly eliminate learned backdoor features from the pretraining phase? In this paper, we provide an affirmative answer to this question by thoroughly investigating the Post-Purification Robustness of current backdoor purification methods. We find that current safety purification methods are vulnerable to the rapid re-learning of backdoor behavior, even when further fine-tuning of purified models is performed using a very small number of poisoned samples. Based on this, we further propose the practical Query-based Reactivation Attack (QRA) which could effectively reactivate the backdoor by merely querying purified models. We find the failure to achieve satisfactory post-tuning robustness stems from the insufficient deviation of purified models from the backdoored model along the backdoor-connected path. To improve the post-purification robustness, we propose a straightforward tuning defense, Path-Aware Minimization (PAM), which promotes deviation along backdoor-connected paths with extra model updates. Extensive experiments demonstrate that PAM significantly improves post-purification robustness while maintaining a good clean accuracy and low ASR. Our work provides a new perspective on understanding the effectiveness of backdoor safety tuning and highlights the importance of faithfully assessing the model's safety.
• Abstract（参考訳）: バックドア攻撃は、攻撃者がバックドアトリガーでモデル予測を操作できるようにするため、ディープニューラルネットワーク(DNN)に重大な脅威となる。 これらの脆弱性に対処するため、様々なバックドアの浄化手法が提案されている。 通常、これらの浄化されたモデルは低い攻撃成功率(ASR)を示し、バックドア入力に耐性を持つ。 しかし、現行の安全浄化手法によって低いASRを達成することは、学習したバックドアの特徴を事前訓練段階から真に排除するだろうか? 本稿では, 現行のバックドア浄化法の浄化後ロバスト性について, 徹底的に検討することで, この問題に対する肯定的な回答を提供する。 本研究は, 極めて少数の有毒試料を用いて, 精製モデルをさらに微調整した場合でも, バックドア行動の迅速再学習に弱いことが判明した。 そこで本研究では,クエリベースのリアクティベーションアタック(QRA)を提案する。 後処理後の堅牢性を達成できなかったのは,バックドア接続経路に沿ったバックドアモデルから精製されたモデルの偏差が不十分であったためである。 ポストパーフィフィケーション後のロバスト性を改善するため,モデル更新によるバックドア接続経路のずれを緩和する簡易なチューニングディフェンスであるPath-Aware Minimization (PAM)を提案する。 広範囲な実験により,PAMは清浄後のロバスト性を良好に向上し,良好な清浄精度と低いASRを維持した。 我々の研究は、バックドア安全チューニングの有効性を理解するための新しい視点を提供し、モデルの安全性を忠実に評価することの重要性を強調します。

関連論文リスト

• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Diff-Cleanse: Identifying and Mitigating Backdoor Attacks in Diffusion Models [3.134071086568745]
  拡散モデル(DM)は、今日では最も先進的な生成モデルの一つと見なされている。 近年の研究では、DMはバックドア攻撃に弱いことが示唆されている。 この脆弱性は、モデル所有者に評判を害するなど、重大なリスクをもたらす。 Diff-Cleanseは、DM用に特別に設計された2段階のバックドア防御フレームワークである。
  論文  参考訳（メタデータ） (2024-07-31T03:54:41Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Towards Stable Backdoor Purification through Feature Shift Tuning [22.529990213795216]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 本稿では,最も一般的かつ容易に配置可能なバックドアディフェンスであるファインチューニングから始める。 チューニングに基づくバックドア浄化手法であるFeature Shift Tuning (FST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-03T08:25:32Z)
• Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
  我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
  論文  参考訳（メタデータ） (2023-03-13T02:25:59Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。