Fugu-MT 論文翻訳(概要): Augmented Neural Fine-Tuning for Efficient Backdoor Purification

論文の概要: Augmented Neural Fine-Tuning for Efficient Backdoor Purification

arxiv url: http://arxiv.org/abs/2407.10052v2
Date: Wed, 17 Jul 2024 05:01:42 GMT
ステータス: 処理完了
システム内更新日: 2024-07-18 11:56:44.641845
Title: Augmented Neural Fine-Tuning for Efficient Backdoor Purification
Title（参考訳）: 効率的なバックドア浄化のための強化ニューラルファインチューニング
Authors: Nazmul Karim, Abdullah Al Arafat, Umar Khalid, Zhishan Guo, Nazanin Rahnavard,
Abstract要約: 最近の研究では、様々なバックドア攻撃に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。神経活動の最適再編成を目的としたニューラルマスクファインチューニング(NFT)を提案する。 NFTはトリガー合成プロセスを緩和し、逆探索モジュールの要求をなくす。
参考スコア（独自算出の注目度）: 16.74156528484354
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent studies have revealed the vulnerability of deep neural networks (DNNs) to various backdoor attacks, where the behavior of DNNs can be compromised by utilizing certain types of triggers or poisoning mechanisms. State-of-the-art (SOTA) defenses employ too-sophisticated mechanisms that require either a computationally expensive adversarial search module for reverse-engineering the trigger distribution or an over-sensitive hyper-parameter selection module. Moreover, they offer sub-par performance in challenging scenarios, e.g., limited validation data and strong attacks. In this paper, we propose Neural mask Fine-Tuning (NFT) with an aim to optimally re-organize the neuron activities in a way that the effect of the backdoor is removed. Utilizing a simple data augmentation like MixUp, NFT relaxes the trigger synthesis process and eliminates the requirement of the adversarial search module. Our study further reveals that direct weight fine-tuning under limited validation data results in poor post-purification clean test accuracy, primarily due to overfitting issue. To overcome this, we propose to fine-tune neural masks instead of model weights. In addition, a mask regularizer has been devised to further mitigate the model drift during the purification process. The distinct characteristics of NFT render it highly efficient in both runtime and sample usage, as it can remove the backdoor even when a single sample is available from each class. We validate the effectiveness of NFT through extensive experiments covering the tasks of image classification, object detection, video action recognition, 3D point cloud, and natural language processing. We evaluate our method against 14 different attacks (LIRA, WaNet, etc.) on 11 benchmark data sets such as ImageNet, UCF101, Pascal VOC, ModelNet, OpenSubtitles2012, etc.
Abstract（参考訳）: 近年の研究では、様々なバックドア攻撃に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。 State-of-the-art(SOTA)ディフェンスは、トリガー分布をリバースエンジニアリングするための計算コストのかかる対向探索モジュールか、過敏なハイパーパラメータ選択モジュールのいずれかを必要とする、高度すぎるメカニズムを採用している。さらに、挑戦的なシナリオ、例えば、限定されたバリデーションデータ、強力な攻撃において、サブパーパフォーマンスを提供する。本稿では,バックドアの効果を除去する目的で,ニューロン活動の最適再編成を目的としたニューラルマスクファインチューニング(NFT)を提案する。 MixUpのような単純なデータ拡張を利用することで、NFTはトリガー合成プロセスを緩和し、逆探索モジュールの要求をなくす。また, 本研究は, 厳密な検証データによる直接微調整により, 浄化後の清浄検査精度が低下することを明らかにした。そこで本研究では,モデル重みの代わりにニューラルマスクを微調整する手法を提案する。さらに、浄化過程でモデルドリフトをさらに緩和するためにマスクレギュレータが考案されている。 NFTの特徴は、単一のサンプルが各クラスから利用可能である場合でも、バックドアを削除することができるため、ランタイムとサンプルの両方で非常に効率的である。画像分類,物体検出,映像行動認識,3Dポイントクラウド,自然言語処理などのタスクを網羅した広範な実験により,NFTの有効性を検証した。我々は、ImageNet、UCF101、Pascal VOC、ModelNet、OpenSubtitles2012など11のベンチマークデータセット上で、14の異なる攻撃(LIRA、WaNetなど)に対して、本手法を評価した。

関連論文リスト

Fisher Information guided Purification against Backdoor Attacks [22.412186735687786]
我々は、新しいバックドア浄化フレームワーク、Fisher Information Guided Purification (FIP)を提案する。 FIPは、バックドア効果の抑制と、クリーンなデータ分布の取得した知識を維持するためにモデルを支援する2つの新しい正規化器で構成されている。さらに、Fast FIPと呼ばれる効率的なFIPを導入し、チューニング可能なパラメータの数を著しく削減し、約5倍のランタイムゲインを得る。
論文参考訳（メタデータ） (2024-09-01T23:09:44Z)
Evolutionary Trigger Detection and Lightweight Model Repair Based Backdoor Defense [10.310546695762467]
ディープニューラルネットワーク(DNN)は、自律運転や顔認識など、多くの分野で広く利用されている。 DNNモデルのバックドアは、トリガーによる有毒な入力によってアクティベートされ、誤った予測につながる。進化的トリガ検出と軽量モデル修復に基づく効率的なバックドア防御を提案する。
論文参考訳（メタデータ） (2024-07-07T14:50:59Z)
Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文参考訳（メタデータ） (2024-05-01T12:03:39Z)
Efficient Backdoor Removal Through Natural Gradient Fine-tuning [4.753323975780736]
最近のバックドア攻撃は、敵がそのようなトレーニングの詳細を活用でき、ディープニューラルネットワーク(DNN)の完全性を損なうことを示唆している。我々の研究では、バックドアモデルは通常、悪い局所的なミニマ、すなわち良質なモデルよりもシャープなミニマに最適化されていることが示されている。本研究では,1層のみを微調整することによってバックドアを除去することに焦点を当てた,新しいバックドア技術であるNatural Gradient Fine-tuning(NGF)を提案する。
論文参考訳（メタデータ） (2023-06-30T07:25:38Z)
Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
論文参考訳（メタデータ） (2023-05-24T08:29:30Z)
Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文参考訳（メタデータ） (2022-11-02T15:39:19Z)
One-shot Neural Backdoor Erasing via Adversarial Weight Masking [8.345632941376673]
Adversarial Weight Masking (AWM)は、ワンショット設定でも神経バックドアを消去できる新しい方法である。 AWMは、さまざまな利用可能なトレーニングデータセットサイズに対する他の最先端メソッドに対する浄化効果を大幅に改善することができる。
論文参考訳（メタデータ） (2022-07-10T16:18:39Z)
Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
周波数領域に基づく一般化されたバックドア攻撃手法を提案する。トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
論文参考訳（メタデータ） (2022-07-09T07:05:53Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。