論文の概要: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons
- arxiv url: http://arxiv.org/abs/2408.08655v1
- Date: Fri, 16 Aug 2024 10:44:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 15:57:38.973662
- Title: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons
- Title(参考訳): 低活動入力ニューロンのフリップ重み更新によるフェデレーション学習におけるバックドアアタックの軽減
- Authors: Binbin Ding, Penghui Yang, Zeqing Ge, Shengjun Huang,
- Abstract要約: フェデレートされた学習は、複数のクライアントがサーバ全体の計画の下で、協調的に機械学習モデルをトレーニングすることを可能にする。
バックドアアタックは 汚染されたモデルの 特定のニューロンを活性化する クリーンなデータを処理する際に 休眠状態のままだ
本稿では,FLAIN(Flipping Weight Updates of Low-Activation Input Neurons)と呼ばれる手法を提案する。
- 参考スコア(独自算出の注目度): 26.722135430795326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enables multiple clients to collaboratively train machine learning models under the overall planning of the server while adhering to privacy requirements. However, the server cannot directly oversee the local training process, creating an opportunity for malicious clients to introduce backdoors. Existing research shows that backdoor attacks activate specific neurons in the compromised model, which remain dormant when processing clean data. Leveraging this insight, we propose a method called Flipping Weight Updates of Low-Activation Input Neurons (FLAIN) to defend against backdoor attacks in federated learning. Specifically, after completing global training, we employ an auxiliary dataset to identify low-activation input neurons and flip the associated weight updates. We incrementally raise the threshold for low-activation inputs and flip the weight updates iteratively, until the performance degradation on the auxiliary data becomes unacceptable. Extensive experiments validate that our method can effectively reduce the success rate of backdoor attacks to a low level in various attack scenarios including those with non-IID data distribution or high MCRs, causing only minimal performance degradation on clean data.
- Abstract(参考訳): フェデレーション学習により、複数のクライアントが、プライバシ要件に準拠しながら、サーバ全体の計画の下で機械学習モデルを協調的にトレーニングすることができる。
しかし、サーバはローカルなトレーニングプロセスを直接監督することができず、悪意のあるクライアントがバックドアを導入する機会を生み出す。
既存の研究によると、バックドアアタックは汚染されたモデルで特定のニューロンを活性化する。
そこで本研究では,FLAIN(Flipping Weight Updates of Low-Activation Input Neurons)と呼ばれる手法を提案する。
具体的には、グローバルトレーニングを終えた後、低活性化入力ニューロンを識別し、関連する重み更新を反転させる補助データセットを使用する。
我々は、補助データの性能劣化が受け入れられなくなるまで、低活性化入力のしきい値を漸進的に引き上げ、反復的に重み更新を行う。
非IIDデータ分布や高いMCRを含む様々な攻撃シナリオにおいて,本手法はバックドア攻撃の成功率を効果的に低下させ,クリーンデータの性能低下を最小限に抑えることができることが実証された。
関連論文リスト
- DLP: towards active defense against backdoor attacks with decoupled learning process [2.686336957004475]
バックドア攻撃に対する防御のための一般的な訓練パイプラインを提案する。
トレーニング中, 清潔なサブセットと有毒なサブセットで異なる学習行動を示すモデルを示す。
提案手法の有効性は,様々なバックドア攻撃やデータセットにまたがる数多くの実験で実証されている。
論文 参考訳(メタデータ) (2024-06-18T23:04:38Z) - Unveiling and Mitigating Backdoor Vulnerabilities based on Unlearning Weight Changes and Backdoor Activeness [23.822040810285717]
クリーンなデータを学習し、プルーニングマスクを学習するアンラーニングモデルは、バックドアディフェンスに寄与している。
本研究では,重み変化と勾配ノルムの観点から,モデルアンラーニングについて検討する。
最初の段階では、観測1に基づいて、効率的なニューロン量変化(NWC)に基づくバックドア再初期化を提案する。
第2段階では、観測2に基づいて、バニラファインチューニングに代わるアクティブネス対応ファインチューニングを設計する。
論文 参考訳(メタデータ) (2024-05-30T17:41:32Z) - Setting the Trap: Capturing and Defeating Backdoors in Pretrained
Language Models through Honeypots [68.84056762301329]
近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。
バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。
我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
論文 参考訳(メタデータ) (2023-10-28T08:21:16Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。
RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。
このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
論文 参考訳(メタデータ) (2023-05-24T08:29:30Z) - Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware
Minimization [27.964431092997504]
良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を消去するための自然な防御である。
本研究では, バックドア関連ニューロンのノルムを小さくするために, 微調整によるシャープネス認識最小化を取り入れた新しいバックドア防御パラダイムFTSAMを提案する。
論文 参考訳(メタデータ) (2023-04-24T05:13:52Z) - A Survey on Backdoor Attack and Defense in Natural Language Processing [18.29835890570319]
NLP分野におけるバックドア攻撃と防御の総合的な検討を行う。
ベンチマークデータセットを要約し、バックドア攻撃を防ぐために信頼できるシステムを設計するためのオープンな問題を指摘した。
論文 参考訳(メタデータ) (2022-11-22T02:35:12Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - Sleeper Agent: Scalable Hidden Trigger Backdoors for Neural Networks
Trained from Scratch [99.90716010490625]
バックドア攻撃者は、トレーニングデータを改ざんして、そのデータに基づいてトレーニングされたモデルに脆弱性を埋め込む。
この脆弱性は、モデル入力に"トリガー"を配置することで、推論時にアクティベートされる。
我々は,工芸過程において,勾配マッチング,データ選択,ターゲットモデル再トレーニングを利用した新しい隠れトリガ攻撃,Sleeper Agentを開発した。
論文 参考訳(メタデータ) (2021-06-16T17:09:55Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。