論文の概要: Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware
Minimization
- arxiv url: http://arxiv.org/abs/2304.11823v1
- Date: Mon, 24 Apr 2023 05:13:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 16:07:30.262004
- Title: Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware
Minimization
- Title(参考訳): シャープネス最小化によるファインチューニング型バックドアディフェンスの強化
- Authors: Mingli Zhu, Shaokui Wei, Li Shen, Yanbo Fan, Baoyuan Wu
- Abstract要約: 良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を消去するための自然な防御である。
本研究では, バックドア関連ニューロンのノルムを小さくするために, 微調整によるシャープネス認識最小化を取り入れた新しいバックドア防御パラダイムFTSAMを提案する。
- 参考スコア(独自算出の注目度): 27.964431092997504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backdoor defense, which aims to detect or mitigate the effect of malicious
triggers introduced by attackers, is becoming increasingly critical for machine
learning security and integrity. Fine-tuning based on benign data is a natural
defense to erase the backdoor effect in a backdoored model. However, recent
studies show that, given limited benign data, vanilla fine-tuning has poor
defense performance. In this work, we provide a deep study of fine-tuning the
backdoored model from the neuron perspective and find that backdoorrelated
neurons fail to escape the local minimum in the fine-tuning process. Inspired
by observing that the backdoorrelated neurons often have larger norms, we
propose FTSAM, a novel backdoor defense paradigm that aims to shrink the norms
of backdoor-related neurons by incorporating sharpness-aware minimization with
fine-tuning. We demonstrate the effectiveness of our method on several
benchmark datasets and network architectures, where it achieves
state-of-the-art defense performance. Overall, our work provides a promising
avenue for improving the robustness of machine learning models against backdoor
attacks.
- Abstract(参考訳): 攻撃者が引き起こす悪質なトリガーを検知または緩和することを目的としたバックドアディフェンスは、機械学習のセキュリティと整合性にとってますます重要になっている。
良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を削除する自然な防御である。
しかし,近年の研究では,バニラ微調整による防御性能の低下が報告されている。
本研究では、ニューロンの観点からバックドアモデルの微調整に関する深い研究を行い、その微調整過程においてバックドア関連ニューロンが局所的な極小さから逃れられていないことを発見した。
バックドア関連ニューロンは、しばしばより大きなノルムを持つという観察に触発されて、我々は、シャープネスを認識できる最小化と微調整を組み込むことでバックドア関連ニューロンのノルムを縮小することを目的とした新しいバックドア防御パラダイムであるftsamを提案する。
いくつかのベンチマークデータセットとネットワークアーキテクチャにおいて,本手法の有効性を実証し,現状の防御性能を実現する。
全体として、我々の研究は、バックドア攻撃に対する機械学習モデルの堅牢性を改善するための有望な道を提供する。
関連論文リスト
- BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input
Detection [42.021282816470794]
我々は,Deep Neural Networks(DNN)に対するバックドア攻撃に対する新しい防御法を提案する。
私たちの防衛は、モデルの生成方法とは独立して機能する開発後防衛のカテゴリに分類されます。
モデル推論におけるバックドア入力をフィルタリングする高精度なバックドア入力検出装置の実現可能性を示す。
論文 参考訳(メタデータ) (2023-08-23T21:47:06Z) - Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。
RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。
このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
論文 参考訳(メタデータ) (2023-05-24T08:29:30Z) - Fine-Tuning Is All You Need to Mitigate Backdoor Attacks [10.88508085229675]
ファインチューニングは、機械学習モデルからバックドアを効果的に取り除き、高モデルユーティリティを維持できることを示す。
私たちは、バックドアの削除前後の他の攻撃に対するモデル脆弱性の変化を測定するために、バックドアの続編という新しい用語を作成しました。
論文 参考訳(メタデータ) (2022-12-18T11:30:59Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - Confidence Matters: Inspecting Backdoors in Deep Neural Networks via
Distribution Transfer [27.631616436623588]
本稿では,新しい観測結果を基にしたバックドアディフェンスDTInspectorを提案する。
DTInspectorは、ほとんどの高信頼データの予測を変える可能性のあるパッチを学び、それからバックドアの存在を決定する。
論文 参考訳(メタデータ) (2022-08-13T08:16:28Z) - Few-shot Backdoor Defense Using Shapley Estimation [123.56934991060788]
我々は、深層ニューラルネットワークに対するバックドア攻撃を軽減するために、Shapley Pruningと呼ばれる新しいアプローチを開発した。
ShapPruningは、感染した数少ないニューロン(全ニューロンの1%以下)を特定し、モデルの構造と正確性を保護する。
様々な攻撃やタスクに対して,本手法の有効性とロバスト性を示す実験を行った。
論文 参考訳(メタデータ) (2021-12-30T02:27:03Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。