論文の概要: SkyMask: Attack-agnostic Robust Federated Learning with Fine-grained Learnable Masks
- arxiv url: http://arxiv.org/abs/2312.12484v2
- Date: Thu, 18 Jul 2024 05:35:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 21:51:10.522764
- Title: SkyMask: Attack-agnostic Robust Federated Learning with Fine-grained Learnable Masks
- Title（参考訳）: SkyMask: きめ細かい学習可能なマスクによるアタック非依存のロバスト学習
- Authors: Peishen Yan, Hao Wang, Tao Song, Yang Hua, Ruhui Ma, Ningxin Hu, Mohammad R. Haghighat, Haibing Guan,
- Abstract要約: フェデレートラーニング(FL)は、分散データを活用し、データのプライバシを保存するための一般的なパラダイムである。
分散特性のため、FLシステムはクライアントを危険にさらしたビザンティン攻撃に対して脆弱である。
そこで我々は,悪質なモデル更新を識別するために,きめ細かな学習可能なマスクを利用する,攻撃非依存の堅牢なFLシステムSkyMaskを提案する。
- 参考スコア（独自算出の注目度）: 26.899029968846015
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated Learning (FL) is becoming a popular paradigm for leveraging distributed data and preserving data privacy. However, due to the distributed characteristic, FL systems are vulnerable to Byzantine attacks that compromised clients attack the global model by uploading malicious model updates. With the development of layer-level and parameter-level fine-grained attacks, the attacks' stealthiness and effectiveness have been significantly improved. The existing defense mechanisms solely analyze the model-level statistics of individual model updates uploaded by clients to mitigate Byzantine attacks, which are ineffective against fine-grained attacks due to unawareness or overreaction. To address this problem, we propose SkyMask, a new attack-agnostic robust FL system that firstly leverages fine-grained learnable masks to identify malicious model updates at the parameter level. Specifically, the FL server freezes and multiplies the model updates uploaded by clients with the parameter-level masks, and trains the masks over a small clean dataset (i.e., root dataset) to learn the subtle difference between benign and malicious model updates in a high-dimension space. Our extensive experiments involve different models on three public datasets under state-of-the-art (SOTA) attacks, where the results show that SkyMask achieves up to 14% higher testing accuracy compared with SOTA defense strategies under the same attacks and successfully defends against attacks with malicious clients of a high fraction up to 80%. Code is available at https://github.com/KoalaYan/SkyMask.
- Abstract（参考訳）: フェデレートラーニング(FL)は、分散データを活用し、データのプライバシを保存するための一般的なパラダイムになりつつある。
しかし、この分散特性のため、FLシステムは悪意のあるモデル更新をアップロードすることでクライアントを侵害したビザンティン攻撃に対して脆弱である。
層レベルおよびパラメータレベルのきめ細かい攻撃の開発により、攻撃のステルスネスと有効性が大幅に改善された。
既存の防御メカニズムは、クライアントがアップロードした個々のモデル更新のモデルレベル統計のみを分析して、ビザンツ攻撃を緩和する。
この問題に対処するため,SkyMaskは,パラメータレベルでの悪意あるモデル更新を識別するために,まず,きめ細かな学習可能なマスクを活用する,攻撃非依存の堅牢なFLシステムである。
具体的には、FLサーバは、クライアントがアップロードしたモデル更新をパラメータレベルのマスクで凍結および乗算し、マスクを小さなクリーンデータセット(ルートデータセット)上でトレーニングし、良質なモデル更新と悪意のあるモデル更新の微妙な違いを高次元空間で学習する。
その結果、SkyMaskは攻撃対象のSOTA防衛戦略と比較して最大14%高いテスト精度を達成でき、高い攻撃率の悪意のあるクライアントによる攻撃に対する防御に成功しています。
コードはhttps://github.com/KoalaYan/SkyMask.comで入手できる。
関連論文リスト
- Identify Backdoored Model in Federated Learning via Individual Unlearning [7.200910949076064]
裏口攻撃は、フェデレートラーニング(FL)の堅牢性に重大な脅威をもたらす
FLにおける悪意のあるモデルを特定するために,ローカルモデル上で個別の未学習を利用する手法であるMASAを提案する。
私たちの知る限りでは、FLの悪意あるモデルを特定するために機械学習を活用するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-11-01T21:19:47Z) - A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。
私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。
我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
論文 参考訳（メタデータ） (2024-10-21T17:27:01Z) - Poisoning with A Pill: Circumventing Detection in Federated Learning [33.915489514978084]
本稿では,FLにおける検出に対する既存のFL中毒攻撃の有効性とステルス性を高めるために,汎用的かつ攻撃に依存しない拡張手法を提案する。
具体的には、FLトレーニング中に、戦略的にピルを構築、生成、注入する3段階の方法論を用いており、それに従ってピル構築、ピル中毒およびピル注入と命名されている。
論文 参考訳（メタデータ） (2024-07-22T05:34:47Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳（メタデータ） (2023-06-06T11:44:42Z) - DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning [14.312593000209693]
フェデレートラーニング(FL)は、中央サーバの協調の下で、分散デバイスからローカルモデルを集約することで、グローバルモデルをトレーニングしようとする試みである。
多数の異種デバイスが存在するため、FLは様々な攻撃、特にステルスなバックドア攻撃に対して脆弱である。
我々は,サーバがグローバルモデルを直接変更して,FLシステムにバックドアを施すような,FLの新たなアタックモデル,すなわち,サーバにおけるData-Agnostic Backdoor attack(DABS)を提案する。
論文 参考訳（メタデータ） (2023-05-02T09:04:34Z) - FL-Defender: Combating Targeted Attacks in Federated Learning [7.152674461313707]
フェデレートラーニング(FL)は、グローバル機械学習モデルを、参加する労働者のセット間で分散されたローカルデータから学習することを可能にする。
FLは、学習モデルの完全性に悪影響を及ぼす標的の毒殺攻撃に対して脆弱である。
FL標的攻撃に対抗する手段として,textitFL-Defenderを提案する。
論文 参考訳（メタデータ） (2022-07-02T16:04:46Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳（メタデータ） (2022-05-22T15:13:23Z) - MPAF: Model Poisoning Attacks to Federated Learning based on Fake
Clients [51.973224448076614]
本稿では,MPAF と呼ばれる Fake クライアントをベースとした最初のモデルポジショニング攻撃を提案する。
MPAFは、たとえ古典的な防御とノルムクリッピングが採用されたとしても、グローバルモデルのテスト精度を著しく低下させることができる。
論文 参考訳（メタデータ） (2022-03-16T14:59:40Z) - DeepSight: Mitigating Backdoor Attacks in Federated Learning Through
Deep Model Inspection [26.593268413299228]
フェデレートラーニング(FL)では、複数のクライアントが、データを公開せずに、プライベートデータ上でニューラルネットワーク(NN)モデルを協調的にトレーニングすることができる。
DeepSightは、バックドア攻撃を緩和するための新しいモデルフィルタリングアプローチである。
モデルの性能に悪影響を及ぼすことなく、最先端のバックドア攻撃を軽減できることを示す。
論文 参考訳（メタデータ） (2022-01-03T17:10:07Z) - Virtual Data Augmentation: A Robust and General Framework for
Fine-tuning Pre-trained Models [51.46732511844122]
強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。
VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。
本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
論文 参考訳（メタデータ） (2021-09-13T09:15:28Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。