Fugu-MT 論文翻訳(概要): Efficient Backdoor Removal Through Natural Gradient Fine-tuning

論文の概要: Efficient Backdoor Removal Through Natural Gradient Fine-tuning

arxiv url: http://arxiv.org/abs/2306.17441v1
Date: Fri, 30 Jun 2023 07:25:38 GMT
ステータス: 処理完了
システム内更新日: 2023-07-03 13:24:15.884501
Title: Efficient Backdoor Removal Through Natural Gradient Fine-tuning
Title（参考訳）: 自然グラディエントファインチューニングによる効率的なバックドア除去
Authors: Nazmul Karim, Abdullah Al Arafat, Umar Khalid, Zhishan Guo and Naznin Rahnavard
Abstract要約: 最近のバックドア攻撃は、敵がそのようなトレーニングの詳細を活用でき、ディープニューラルネットワーク(DNN)の完全性を損なうことを示唆している。我々の研究では、バックドアモデルは通常、悪い局所的なミニマ、すなわち良質なモデルよりもシャープなミニマに最適化されていることが示されている。本研究では,1層のみを微調整することによってバックドアを除去することに焦点を当てた,新しいバックドア技術であるNatural Gradient Fine-tuning(NGF)を提案する。
参考スコア（独自算出の注目度）: 4.753323975780736
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The success of a deep neural network (DNN) heavily relies on the details of the training scheme; e.g., training data, architectures, hyper-parameters, etc. Recent backdoor attacks suggest that an adversary can take advantage of such training details and compromise the integrity of a DNN. Our studies show that a backdoor model is usually optimized to a bad local minima, i.e. sharper minima as compared to a benign model. Intuitively, a backdoor model can be purified by reoptimizing the model to a smoother minima through fine-tuning with a few clean validation data. However, fine-tuning all DNN parameters often requires huge computational costs and often results in sub-par clean test performance. To address this concern, we propose a novel backdoor purification technique, Natural Gradient Fine-tuning (NGF), which focuses on removing the backdoor by fine-tuning only one layer. Specifically, NGF utilizes a loss surface geometry-aware optimizer that can successfully overcome the challenge of reaching a smooth minima under a one-layer optimization scenario. To enhance the generalization performance of our proposed method, we introduce a clean data distribution-aware regularizer based on the knowledge of loss surface curvature matrix, i.e., Fisher Information Matrix. Extensive experiments show that the proposed method achieves state-of-the-art performance on a wide range of backdoor defense benchmarks: four different datasets- CIFAR10, GTSRB, Tiny-ImageNet, and ImageNet; 13 recent backdoor attacks, e.g. Blend, Dynamic, WaNet, ISSBA, etc.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の成功は、トレーニングスキームの詳細(例えば、トレーニングデータ、アーキテクチャ、ハイパーパラメータなど)に大きく依存している。最近のバックドア攻撃は、敵がそのような訓練の詳細を活用でき、DNNの完全性を損なう可能性があることを示唆している。我々の研究では、バックドアモデルは通常、悪い局所的なミニマ、すなわち良性モデルと比較してよりシャープなミニマに最適化されている。直感的には、いくつかのクリーンなバリデーションデータによる微調整により、モデルをよりスムーズなミニマに再最適化することで、バックドアモデルを浄化することができる。しかし、すべてのDNNパラメータを微調整するには、計算コストが大きすぎることが多く、その結果、サブパークなテスト性能が得られる。そこで本研究では,1層のみの微調整によるバックドアの除去に着目した新しいバックドア浄化手法である自然勾配微調整(ngf)を提案する。具体的には、NGFは損失曲面幾何対応最適化器を用いて、1層最適化シナリオで滑らかなミニマに到達するという課題を克服する。提案手法の汎用性を高めるために, 損失面曲率行列, すなわちフィッシャー情報行列の知識に基づいて, クリーンなデータ分布認識正規化器を提案する。広範な実験により、提案手法は、cifar10、gtsrb、tiny-imagenet、imagenetの4つの異なるデータセット、最近の13のバックドア攻撃、例えばblend、dynamic、wanet、isbaなど、幅広いバックドア防御ベンチマークで最先端のパフォーマンスを達成している。

関連論文リスト

Fine-tuning is Not Fine: Mitigating Backdoor Attacks in GNNs with Limited Clean Data [51.745219224707384]
グラフニューラルネットワーク(GNN)は,メッセージパッシング機構を通じて,優れたパフォーマンスを実現している。最近の研究は、GNNのバックドア攻撃に対する脆弱性を強調している。本稿では,実践的なバックドア緩和フレームワークである GraphNAD を提案する。
論文参考訳（メタデータ） (2025-01-10T10:16:35Z)
"No Matter What You Do": Purifying GNN Models via Backdoor Unlearning [33.07926413485209]
GNNのバックドア攻撃は、攻撃者がトリガーを埋め込むことでグラフデータの一部を修正したという事実にある。 GNNにおける最初のバックドア緩和手法であるGCleanerを提案する。 GCleanerは、クリーンデータのわずか1%でバックドア攻撃の成功率を10%に下げることができ、ほぼ無視できるモデル性能の低下がある。
論文参考訳（メタデータ） (2024-10-02T06:30:49Z)
Fisher Information guided Purification against Backdoor Attacks [22.412186735687786]
我々は、新しいバックドア浄化フレームワーク、Fisher Information Guided Purification (FIP)を提案する。 FIPは、バックドア効果の抑制と、クリーンなデータ分布の取得した知識を維持するためにモデルを支援する2つの新しい正規化器で構成されている。さらに、Fast FIPと呼ばれる効率的なFIPを導入し、チューニング可能なパラメータの数を著しく削減し、約5倍のランタイムゲインを得る。
論文参考訳（メタデータ） (2024-09-01T23:09:44Z)
Augmented Neural Fine-Tuning for Efficient Backdoor Purification [16.74156528484354]
最近の研究では、様々なバックドア攻撃に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。神経活動の最適再編成を目的としたニューラルマスクファインチューニング(NFT)を提案する。 NFTはトリガー合成プロセスを緩和し、逆探索モジュールの要求をなくす。
論文参考訳（メタデータ） (2024-07-14T02:36:54Z)
OCGEC: One-class Graph Embedding Classification for DNN Backdoor Detection [18.11795712499763]
本研究では,一クラスグラフ埋め込み分類(OCGEC)と呼ばれる新しい一クラス分類フレームワークを提案する。 OCGECは、少量のクリーンデータだけでモデルレベルのバックドア検出にGNNを使用する。他のベースラインと比較して、AUCのスコアは、多くのタスクで98%以上である。
論文参考訳（メタデータ） (2023-12-04T02:48:40Z)
Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware Minimization [27.964431092997504]
良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を消去するための自然な防御である。本研究では, バックドア関連ニューロンのノルムを小さくするために, 微調整によるシャープネス認識最小化を取り入れた新しいバックドア防御パラダイムFTSAMを提案する。
論文参考訳（メタデータ） (2023-04-24T05:13:52Z)
Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文参考訳（メタデータ） (2022-11-02T15:39:19Z)
GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
論文参考訳（メタデータ） (2021-09-06T03:17:10Z)
Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文参考訳（メタデータ） (2021-06-18T01:03:13Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。