論文の概要: Mitigating Backdoor Attacks in Federated Learning
- arxiv url: http://arxiv.org/abs/2011.01767v2
- Date: Thu, 14 Jan 2021 19:53:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 06:21:59.087484
- Title: Mitigating Backdoor Attacks in Federated Learning
- Title(参考訳): 連合学習におけるバックドア攻撃の緩和
- Authors: Chen Wu, Xian Yang, Sencun Zhu, Prasenjit Mitra
- Abstract要約: トレーニング段階以降のバックドア攻撃を緩和するための,新しい効果的手法を提案する。
具体的には、ネットワーク内の冗長ニューロンを除去し、モデルの極端な重み付け値を調整するためのフェデレートプルーニング法を設計する。
分散Fashion-MNIST実験により, 平均攻撃成功率は99.7%から1.9%に低下し, テスト精度は5.5%低下した。
- 参考スコア(独自算出の注目度): 9.582197388445204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Malicious clients can attack federated learning systems using malicious data,
including backdoor samples, during the training phase. The compromised global
model will perform well on the validation dataset designed for the task, but a
small subset of data with backdoor patterns may trigger the model to make a
wrong prediction. There has been an arms race between attackers who tried to
conceal attacks and defenders who tried to detect attacks during the
aggregation stage of training on the server-side. In this work, we propose a
new and effective method to mitigate backdoor attacks after the training phase.
Specifically, we design a federated pruning method to remove redundant neurons
in the network and then adjust the model's extreme weight values. Our
experiments conducted on distributed Fashion-MNIST show that our method can
reduce the average attack success rate from 99.7% to 1.9% with a 5.5% loss of
test accuracy on the validation dataset. To minimize the pruning influence on
test accuracy, we can fine-tune after pruning, and the attack success rate
drops to 6.4%, with only a 1.7% loss of test accuracy. Further experiments
under Distributed Backdoor Attacks on CIFAR-10 also show promising results that
the average attack success rate drops more than 70% with less than 2% loss of
test accuracy on the validation dataset.
- Abstract(参考訳): 悪意のあるクライアントは、トレーニングフェーズ中にバックドアサンプルを含む悪意のあるデータを使用して、連合学習システムを攻撃することができる。
妥協されたグローバルモデルは、タスク用に設計された検証データセットでうまく機能するが、バックドアパターンを持つデータの小さなサブセットが、モデルに誤った予測をさせる可能性がある。
攻撃を隠そうとするアタッカーと、サーバ側のトレーニングのアグリゲーション段階で攻撃を検知しようとするディフェンダーとの間には、武器競争があった。
本研究では,訓練後のバックドア攻撃を軽減するための新しい効果的な手法を提案する。
具体的には,ネットワーク内の冗長なニューロンを除去し,モデルの極端な重み値を調整するフェデレートプルーニング法を設計する。
分散ファッションマニストを用いた実験では,検証データセットで平均攻撃成功率を99.7%から1.9%に削減し,検証精度を5.5%低下させることができた。
プルーニングがテスト精度に与える影響を最小限に抑えるため、プルーニング後の微調整が可能であり、攻撃成功率は6.4%に低下し、テスト精度は1.7%に留まった。
cifar-10の分散バックドア攻撃によるさらなる実験では、平均攻撃成功率が70%以上低下し、検証データセットでテスト精度が2%未満低下するという有望な結果が得られた。
関連論文リスト
- Robust Federated Learning Mitigates Client-side Training Data
Distribution Inference Attacks [53.210725411547806]
InferGuardは、クライアント側のトレーニングデータ分散推論攻撃に対する防御を目的とした、新しいビザンチン・ロバスト集約ルールである。
実験の結果,我々の防衛機構はクライアント側のトレーニングデータ分布推定攻撃に対する防御に極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T17:41:35Z) - Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
数発の学習がバックドアアタックに対して脆弱であることは明らかです。
本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。
この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
論文 参考訳(メタデータ) (2023-12-31T06:43:36Z) - DALA: A Distribution-Aware LoRA-Based Adversarial Attack against
Language Models [64.79319733514266]
敵攻撃は入力データに微妙な摂動をもたらす可能性がある。
最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。
そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T23:43:47Z) - Towards Understanding How Self-training Tolerates Data Backdoor
Poisoning [11.817302291033725]
バックドア攻撃を緩和するためのラベルのない追加データによる自己学習の可能性を探る。
新たな自己訓練体制は、バックドア攻撃に対する防衛に大いに役立ちます。
論文 参考訳(メタデータ) (2023-01-20T16:36:45Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
周波数領域に基づく一般化されたバックドア攻撃手法を提案する。
トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。
我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
論文 参考訳(メタデータ) (2022-07-09T07:05:53Z) - Efficient Adversarial Training With Data Pruning [26.842714298874192]
我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。
一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
論文 参考訳(メタデータ) (2022-07-01T23:54:46Z) - DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
ディープモデルは敵の攻撃に非常に敏感である。
プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。
我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
論文 参考訳(メタデータ) (2022-04-04T15:16:13Z) - Few-shot Backdoor Defense Using Shapley Estimation [123.56934991060788]
我々は、深層ニューラルネットワークに対するバックドア攻撃を軽減するために、Shapley Pruningと呼ばれる新しいアプローチを開発した。
ShapPruningは、感染した数少ないニューロン(全ニューロンの1%以下)を特定し、モデルの構造と正確性を保護する。
様々な攻撃やタスクに対して,本手法の有効性とロバスト性を示す実験を行った。
論文 参考訳(メタデータ) (2021-12-30T02:27:03Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z) - BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。
BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
論文 参考訳(メタデータ) (2020-11-04T07:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。