論文の概要: Mitigating Backdoor Attacks in Federated Learning

• arxiv url: http://arxiv.org/abs/2011.01767v2
• Date: Thu, 14 Jan 2021 19:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 06:21:59.087484
• Title: Mitigating Backdoor Attacks in Federated Learning
• Title（参考訳）: 連合学習におけるバックドア攻撃の緩和
• Authors: Chen Wu, Xian Yang, Sencun Zhu, Prasenjit Mitra
• Abstract要約: トレーニング段階以降のバックドア攻撃を緩和するための,新しい効果的手法を提案する。 具体的には、ネットワーク内の冗長ニューロンを除去し、モデルの極端な重み付け値を調整するためのフェデレートプルーニング法を設計する。 分散Fashion-MNIST実験により, 平均攻撃成功率は99.7%から1.9%に低下し, テスト精度は5.5%低下した。
• 参考スコア（独自算出の注目度）: 9.582197388445204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Malicious clients can attack federated learning systems using malicious data, including backdoor samples, during the training phase. The compromised global model will perform well on the validation dataset designed for the task, but a small subset of data with backdoor patterns may trigger the model to make a wrong prediction. There has been an arms race between attackers who tried to conceal attacks and defenders who tried to detect attacks during the aggregation stage of training on the server-side. In this work, we propose a new and effective method to mitigate backdoor attacks after the training phase. Specifically, we design a federated pruning method to remove redundant neurons in the network and then adjust the model's extreme weight values. Our experiments conducted on distributed Fashion-MNIST show that our method can reduce the average attack success rate from 99.7% to 1.9% with a 5.5% loss of test accuracy on the validation dataset. To minimize the pruning influence on test accuracy, we can fine-tune after pruning, and the attack success rate drops to 6.4%, with only a 1.7% loss of test accuracy. Further experiments under Distributed Backdoor Attacks on CIFAR-10 also show promising results that the average attack success rate drops more than 70% with less than 2% loss of test accuracy on the validation dataset.
• Abstract（参考訳）: 悪意のあるクライアントは、トレーニングフェーズ中にバックドアサンプルを含む悪意のあるデータを使用して、連合学習システムを攻撃することができる。 妥協されたグローバルモデルは、タスク用に設計された検証データセットでうまく機能するが、バックドアパターンを持つデータの小さなサブセットが、モデルに誤った予測をさせる可能性がある。 攻撃を隠そうとするアタッカーと、サーバ側のトレーニングのアグリゲーション段階で攻撃を検知しようとするディフェンダーとの間には、武器競争があった。 本研究では,訓練後のバックドア攻撃を軽減するための新しい効果的な手法を提案する。 具体的には,ネットワーク内の冗長なニューロンを除去し,モデルの極端な重み値を調整するフェデレートプルーニング法を設計する。 分散ファッションマニストを用いた実験では,検証データセットで平均攻撃成功率を99.7%から1.9%に削減し,検証精度を5.5%低下させることができた。 プルーニングがテスト精度に与える影響を最小限に抑えるため、プルーニング後の微調整が可能であり、攻撃成功率は6.4%に低下し、テスト精度は1.7%に留まった。 cifar-10の分散バックドア攻撃によるさらなる実験では、平均攻撃成功率が70%以上低下し、検証データセットでテスト精度が2%未満低下するという有望な結果が得られた。

関連論文リスト

• Persistent Pre-Training Poisoning of LLMs [71.53046642099142]
  我々の研究は、事前学習中に言語モデルも妥協できるかどうかを初めて評価した。 我々は、有害な敵に対する影響を測定するために、スクラッチから一連のLSMを事前訓練する。 我々の主な結果は、モデルの事前トレーニングデータセットの0.1%しか中毒にならず、4つの攻撃のうち3つがポストトレーニングを通じて持続するのに十分であるということです。
  論文  参考訳（メタデータ） (2024-10-17T16:27:13Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Can We Trust the Unlabeled Target Data? Towards Backdoor Attack and Defense on Model Adaptation [120.42853706967188]
  本研究は, よく設計された毒物標的データによるモデル適応に対するバックドア攻撃の可能性を探る。 既存の適応アルゴリズムと組み合わせたMixAdaptというプラグイン・アンド・プレイ方式を提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:42:10Z)
• Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
  数発の学習がバックドアアタックに対して脆弱であることは明らかです。 本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。 この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
  論文  参考訳（メタデータ） (2023-12-31T06:43:36Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Towards Understanding How Self-training Tolerates Data Backdoor Poisoning [11.817302291033725]
  バックドア攻撃を緩和するためのラベルのない追加データによる自己学習の可能性を探る。 新たな自己訓練体制は、バックドア攻撃に対する防衛に大いに役立ちます。
  論文  参考訳（メタデータ） (2023-01-20T16:36:45Z)
• FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
  我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。 本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。 競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T22:24:03Z)
• Efficient Adversarial Training With Data Pruning [26.842714298874192]
  我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。 一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
  論文  参考訳（メタデータ） (2022-07-01T23:54:46Z)
• DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
  ディープモデルは敵の攻撃に非常に敏感である。 プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。 我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
  論文  参考訳（メタデータ） (2022-04-04T15:16:13Z)
• BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
  フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。 BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
  論文  参考訳（メタデータ） (2020-11-04T07:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。