論文の概要: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons

• arxiv url: http://arxiv.org/abs/2408.08655v1
• Date: Fri, 16 Aug 2024 10:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:57:38.973662
• Title: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons
• Title（参考訳）: 低活動入力ニューロンのフリップ重み更新によるフェデレーション学習におけるバックドアアタックの軽減
• Authors: Binbin Ding, Penghui Yang, Zeqing Ge, Shengjun Huang,
• Abstract要約: フェデレートされた学習は、複数のクライアントがサーバ全体の計画の下で、協調的に機械学習モデルをトレーニングすることを可能にする。 バックドアアタックは 汚染されたモデルの 特定のニューロンを活性化する クリーンなデータを処理する際に 休眠状態のままだ 本稿では,FLAIN(Flipping Weight Updates of Low-Activation Input Neurons)と呼ばれる手法を提案する。
• 参考スコア（独自算出の注目度）: 26.722135430795326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning enables multiple clients to collaboratively train machine learning models under the overall planning of the server while adhering to privacy requirements. However, the server cannot directly oversee the local training process, creating an opportunity for malicious clients to introduce backdoors. Existing research shows that backdoor attacks activate specific neurons in the compromised model, which remain dormant when processing clean data. Leveraging this insight, we propose a method called Flipping Weight Updates of Low-Activation Input Neurons (FLAIN) to defend against backdoor attacks in federated learning. Specifically, after completing global training, we employ an auxiliary dataset to identify low-activation input neurons and flip the associated weight updates. We incrementally raise the threshold for low-activation inputs and flip the weight updates iteratively, until the performance degradation on the auxiliary data becomes unacceptable. Extensive experiments validate that our method can effectively reduce the success rate of backdoor attacks to a low level in various attack scenarios including those with non-IID data distribution or high MCRs, causing only minimal performance degradation on clean data.
• Abstract（参考訳）: フェデレーション学習により、複数のクライアントが、プライバシ要件に準拠しながら、サーバ全体の計画の下で機械学習モデルを協調的にトレーニングすることができる。 しかし、サーバはローカルなトレーニングプロセスを直接監督することができず、悪意のあるクライアントがバックドアを導入する機会を生み出す。 既存の研究によると、バックドアアタックは汚染されたモデルで特定のニューロンを活性化する。 そこで本研究では,FLAIN(Flipping Weight Updates of Low-Activation Input Neurons)と呼ばれる手法を提案する。 具体的には、グローバルトレーニングを終えた後、低活性化入力ニューロンを識別し、関連する重み更新を反転させる補助データセットを使用する。 我々は、補助データの性能劣化が受け入れられなくなるまで、低活性化入力のしきい値を漸進的に引き上げ、反復的に重み更新を行う。 非IIDデータ分布や高いMCRを含む様々な攻撃シナリオにおいて,本手法はバックドア攻撃の成功率を効果的に低下させ,クリーンデータの性能低下を最小限に抑えることができることが実証された。

関連論文リスト

• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• Unveiling and Mitigating Backdoor Vulnerabilities based on Unlearning Weight Changes and Backdoor Activeness [23.822040810285717]
  クリーンなデータを学習し、プルーニングマスクを学習するアンラーニングモデルは、バックドアディフェンスに寄与している。 本研究では,重み変化と勾配ノルムの観点から,モデルアンラーニングについて検討する。 最初の段階では、観測1に基づいて、効率的なニューロン量変化(NWC)に基づくバックドア再初期化を提案する。 第2段階では、観測2に基づいて、バニラファインチューニングに代わるアクティブネス対応ファインチューニングを設計する。
  論文  参考訳（メタデータ） (2024-05-30T17:41:32Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware Minimization [27.964431092997504]
  良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を消去するための自然な防御である。 本研究では, バックドア関連ニューロンのノルムを小さくするために, 微調整によるシャープネス認識最小化を取り入れた新しいバックドア防御パラダイムFTSAMを提案する。
  論文  参考訳（メタデータ） (2023-04-24T05:13:52Z)
• A Survey on Backdoor Attack and Defense in Natural Language Processing [18.29835890570319]
  NLP分野におけるバックドア攻撃と防御の総合的な検討を行う。 ベンチマークデータセットを要約し、バックドア攻撃を防ぐために信頼できるシステムを設計するためのオープンな問題を指摘した。
  論文  参考訳（メタデータ） (2022-11-22T02:35:12Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。