論文の概要: FLAIN: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons
- arxiv url: http://arxiv.org/abs/2408.08655v2
- Date: Tue, 22 Jul 2025 14:55:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:13.745461
- Title: FLAIN: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons
- Title(参考訳): FLAIN:低活動入力ニューロンのフリップ重み更新によるフェデレーション学習におけるバックドアアタックの軽減
- Authors: Binbin Ding, Penghui Yang, Sheng-Jun Huang,
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが中央サーバの調整の下で、機械学習モデルを協調的にトレーニングすることを可能にする。
バックドア攻撃は 悪質な入力でのみ活性化される ニューロンを悪用する
FLのバックドア攻撃に対するFLAIN(Flipping Weight Updates of Low-Activation Input Neurons)を提案する。
- 参考スコア(独自算出の注目度): 29.192013253023536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables multiple clients to collaboratively train machine learning models under the coordination of a central server, while maintaining privacy. However, the server cannot directly monitor the local training processes, leaving room for malicious clients to introduce backdoors into the model. Research has shown that backdoor attacks exploit specific neurons that are activated only by malicious inputs, remaining dormant with clean data. Building on this insight, we propose a novel defense method called Flipping Weight Updates of Low-Activation Input Neurons (FLAIN) to counter backdoor attacks in FL. Specifically, upon the completion of global training, we use an auxiliary dataset to identify low-activation input neurons and iteratively flip their associated weight updates. This flipping process continues while progressively raising the threshold for low-activation neurons, until the model's performance on the auxiliary data begins to degrade significantly. Extensive experiments demonstrate that FLAIN effectively reduces the success rate of backdoor attacks across a variety of scenarios, including Non-IID data distributions and high malicious client ratios (MCR), while maintaining minimal impact on the performance of clean data.
- Abstract(参考訳): フェデレートラーニング(FL)は、複数のクライアントが、プライバシを維持しながら、中央サーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、サーバはローカルのトレーニングプロセスを直接監視することができず、悪意のあるクライアントがモデルにバックドアを導入する余地を残します。
研究によると、バックドア攻撃は悪意のある入力によってのみ活性化され、クリーンなデータで休眠状態にある特定のニューロンを利用する。
この知見に基づいて、FLのバックドア攻撃に対抗するために、FLAIN(Flipping Weight Updates of Low-Activation Input Neurons)と呼ばれる新しい防御手法を提案する。
具体的には、グローバルトレーニングが完了すると、補助的なデータセットを使用して、低活性化入力ニューロンを特定し、関連する重み更新を反復的に反転させる。
この反転過程は、補助データに対するモデルの性能が著しく低下し始めるまで、低活性化ニューロンの閾値を徐々に上昇させながら継続する。
大規模な実験により、FLAINは、非IIDデータ分散や高い悪意のあるクライアント比(MCR)など、さまざまなシナリオにおけるバックドア攻撃の成功率を効果的に低減し、クリーンデータのパフォーマンスに最小限の影響を維持できることを示した。
関連論文リスト
- TrojanDam: Detection-Free Backdoor Defense in Federated Learning through Proactive Model Robustification utilizing OOD Data [9.078056680217465]
分散化によって 敵は 慎重に設計された バックドアのアップデートを作れ グローバルなモデルを 誤って分類できる
既存の防御機構は、更新を受けた後、主にトレーニング後の検出に依存している。
本稿では,グローバルモデルにおける積極的ロバスト化に着目したバックドア防衛パラダイムを提案する。
論文 参考訳(メタデータ) (2025-04-22T07:56:51Z) - Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。
動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。
本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
論文 参考訳(メタデータ) (2024-10-16T18:44:22Z) - Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。
これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。
バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
論文 参考訳(メタデータ) (2024-09-29T02:55:38Z) - Unveiling and Mitigating Backdoor Vulnerabilities based on Unlearning Weight Changes and Backdoor Activeness [23.822040810285717]
クリーンなデータを学習し、プルーニングマスクを学習するアンラーニングモデルは、バックドアディフェンスに寄与している。
本研究では,重み変化と勾配ノルムの観点から,モデルアンラーニングについて検討する。
最初の段階では、観測1に基づいて、効率的なニューロン量変化(NWC)に基づくバックドア再初期化を提案する。
第2段階では、観測2に基づいて、バニラファインチューニングに代わるアクティブネス対応ファインチューニングを設計する。
論文 参考訳(メタデータ) (2024-05-30T17:41:32Z) - Concealing Backdoor Model Updates in Federated Learning by Trigger-Optimized Data Poisoning [20.69655306650485]
Federated Learning(FL)は、参加者がプライベートデータを共有せずに、協力的にモデルをトレーニングできる分散型機械学習手法である。
プライバシーとスケーラビリティの利点にもかかわらず、FLはバックドア攻撃の影響を受けやすい。
本稿では,バックドアトリガの最適化によりバックドア目標を動的に構築する,FLのバックドア攻撃戦略であるDPOTを提案する。
論文 参考訳(メタデータ) (2024-05-10T02:44:25Z) - Setting the Trap: Capturing and Defeating Backdoors in Pretrained
Language Models through Honeypots [68.84056762301329]
近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。
バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。
我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
論文 参考訳(メタデータ) (2023-10-28T08:21:16Z) - Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。
RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。
このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
論文 参考訳(メタデータ) (2023-05-24T08:29:30Z) - DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning [14.312593000209693]
フェデレートラーニング(FL)は、中央サーバの協調の下で、分散デバイスからローカルモデルを集約することで、グローバルモデルをトレーニングしようとする試みである。
多数の異種デバイスが存在するため、FLは様々な攻撃、特にステルスなバックドア攻撃に対して脆弱である。
我々は,サーバがグローバルモデルを直接変更して,FLシステムにバックドアを施すような,FLの新たなアタックモデル,すなわち,サーバにおけるData-Agnostic Backdoor attack(DABS)を提案する。
論文 参考訳(メタデータ) (2023-05-02T09:04:34Z) - Enhancing Fine-Tuning Based Backdoor Defense with Sharpness-Aware
Minimization [27.964431092997504]
良性データに基づく微調整は、バックドアモデルにおけるバックドア効果を消去するための自然な防御である。
本研究では, バックドア関連ニューロンのノルムを小さくするために, 微調整によるシャープネス認識最小化を取り入れた新しいバックドア防御パラダイムFTSAMを提案する。
論文 参考訳(メタデータ) (2023-04-24T05:13:52Z) - A Survey on Backdoor Attack and Defense in Natural Language Processing [18.29835890570319]
NLP分野におけるバックドア攻撃と防御の総合的な検討を行う。
ベンチマークデータセットを要約し、バックドア攻撃を防ぐために信頼できるシステムを設計するためのオープンな問題を指摘した。
論文 参考訳(メタデータ) (2022-11-22T02:35:12Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。