論文の概要: SkyMask: Attack-agnostic Robust Federated Learning with Fine-grained
Learnable Masks
- arxiv url: http://arxiv.org/abs/2312.12484v1
- Date: Tue, 19 Dec 2023 16:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 18:13:29.712288
- Title: SkyMask: Attack-agnostic Robust Federated Learning with Fine-grained
Learnable Masks
- Title（参考訳）: SkyMask: きめ細かい学習可能なマスクによる攻撃非依存のロバスト学習
- Authors: Peishen Yan, Hao Wang, Tao Song, Yang Hua, Ruhui Ma, Ningxin Hu,
Mohammad R. Haghighat and Haibing Guan
- Abstract要約: フェデレートラーニング(FL)システムは、悪意のあるモデルアップデートをアップロードすることで、クライアントを侵害したビザンティン攻撃に対して脆弱である。
既存のByzantine-robust FLシステムのほとんどは、Byzantine攻撃に対抗するためにクライアントがアップロードした個々のモデル更新の重みを統計的に分析している。
パラメータレベルでの悪意あるモデル更新を識別するために、きめ細かい学習可能なマスクを利用する攻撃非依存の堅牢なFLシステムであるSkyMaskを提案する。
- 参考スコア（独自算出の注目度）: 28.057576734955244
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated Learning (FL) is becoming a popular paradigm for leveraging
distributed data and preserving data privacy. However, due to the distributed
characteristic, FL systems are vulnerable to Byzantine attacks that compromised
clients attack the global model by uploading malicious model updates. Most
existing Byzantine-robust FL systems statistically analyze the weights of whole
individual model updates uploaded by clients to defend against Byzantine
attacks. With the development of layer-level and parameter-level fine-grained
attacks, the attacks' stealthiness and effectiveness have been significantly
improved. Due to unawareness or overreaction, the existing model-level defense
methods degrade the training efficiency and model performance. To address this
problem, we propose SkyMask, a new attack-agnostic robust FL system that
leverages fine-grained learnable masks to identify malicious model updates at
the parameter-level. Specifically, the FL server applies parameter-level masks
to model updates uploaded by clients and trains the masks over a small clean
dataset (i.e., root dataset) to learn the subtle difference between benign and
malicious model updates in a high-dimension space. Our extensive experiments
involve different models on three public datasets under state-of-the-art (SOTA)
attacks, where the results show that SkyMask achieves up to 10% higher testing
accuracy compared with SOTA defense strategies and successfully defends against
attacks with malicious clients of a high fraction up to 80%. In the meantime,
the experimental results demonstrate the scalability of our approach and the
weak dependence on the data distribution of the root dataset.
- Abstract（参考訳）: フェデレーション学習(fl)は,分散データの活用とデータのプライバシの保護という,一般的なパラダイムになりつつある。
しかしながら、分散特性のため、flシステムは悪意のあるモデル更新をアップロードすることで、クライアントがグローバルモデルを攻撃するビザンチン攻撃に対して脆弱である。
既存のByzantine-robust FLシステムのほとんどは、Byzantine攻撃に対抗するためにクライアントがアップロードした個々のモデル更新の重みを統計的に分析している。
層レベルおよびパラメータレベルの細粒度攻撃の開発により、攻撃のステルス性と有効性が大幅に向上した。
既存のモデルレベルの防御手法は、無意識や過剰反応のため、訓練効率とモデル性能を低下させる。
この問題に対処するために,パラメータレベルでの悪意あるモデル更新を識別するために,きめ細かい学習可能なマスクを活用する,攻撃非依存の堅牢なFLシステムであるSkyMaskを提案する。
具体的には、flサーバは、クライアントがアップロードしたモデル更新にパラメータレベルのマスクを適用し、小さなクリーンデータセット(すなわちルートデータセット)上でマスクをトレーニングすることで、高次元空間における良質なモデル更新と悪意のあるモデル更新の微妙な違いを学ぶ。
我々の大規模な実験では、最先端(SOTA)攻撃下での3つの公開データセットの異なるモデルを用いており、その結果、SkyMaskはSOTAの防御戦略と比較して最大10%高いテスト精度を達成でき、高い割合の悪意のあるクライアントによる攻撃に対してうまく防御できることが示された。
一方,実験結果は,我々のアプローチのスケーラビリティとルートデータセットのデータ分布への弱い依存を実証している。
関連論文リスト
- Identify Backdoored Model in Federated Learning via Individual Unlearning [7.200910949076064]
裏口攻撃は、フェデレートラーニング(FL)の堅牢性に重大な脅威をもたらす
FLにおける悪意のあるモデルを特定するために,ローカルモデル上で個別の未学習を利用する手法であるMASAを提案する。
私たちの知る限りでは、FLの悪意あるモデルを特定するために機械学習を活用するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-11-01T21:19:47Z) - A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。
私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。
我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
論文 参考訳（メタデータ） (2024-10-21T17:27:01Z) - Poisoning with A Pill: Circumventing Detection in Federated Learning [33.915489514978084]
本稿では,FLにおける検出に対する既存のFL中毒攻撃の有効性とステルス性を高めるために,汎用的かつ攻撃に依存しない拡張手法を提案する。
具体的には、FLトレーニング中に、戦略的にピルを構築、生成、注入する3段階の方法論を用いており、それに従ってピル構築、ピル中毒およびピル注入と命名されている。
論文 参考訳（メタデータ） (2024-07-22T05:34:47Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳（メタデータ） (2023-06-06T11:44:42Z) - DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning [14.312593000209693]
フェデレートラーニング(FL)は、中央サーバの協調の下で、分散デバイスからローカルモデルを集約することで、グローバルモデルをトレーニングしようとする試みである。
多数の異種デバイスが存在するため、FLは様々な攻撃、特にステルスなバックドア攻撃に対して脆弱である。
我々は,サーバがグローバルモデルを直接変更して,FLシステムにバックドアを施すような,FLの新たなアタックモデル,すなわち,サーバにおけるData-Agnostic Backdoor attack(DABS)を提案する。
論文 参考訳（メタデータ） (2023-05-02T09:04:34Z) - FL-Defender: Combating Targeted Attacks in Federated Learning [7.152674461313707]
フェデレートラーニング(FL)は、グローバル機械学習モデルを、参加する労働者のセット間で分散されたローカルデータから学習することを可能にする。
FLは、学習モデルの完全性に悪影響を及ぼす標的の毒殺攻撃に対して脆弱である。
FL標的攻撃に対抗する手段として,textitFL-Defenderを提案する。
論文 参考訳（メタデータ） (2022-07-02T16:04:46Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳（メタデータ） (2022-05-22T15:13:23Z) - MPAF: Model Poisoning Attacks to Federated Learning based on Fake
Clients [51.973224448076614]
本稿では,MPAF と呼ばれる Fake クライアントをベースとした最初のモデルポジショニング攻撃を提案する。
MPAFは、たとえ古典的な防御とノルムクリッピングが採用されたとしても、グローバルモデルのテスト精度を著しく低下させることができる。
論文 参考訳（メタデータ） (2022-03-16T14:59:40Z) - DeepSight: Mitigating Backdoor Attacks in Federated Learning Through
Deep Model Inspection [26.593268413299228]
フェデレートラーニング(FL)では、複数のクライアントが、データを公開せずに、プライベートデータ上でニューラルネットワーク(NN)モデルを協調的にトレーニングすることができる。
DeepSightは、バックドア攻撃を緩和するための新しいモデルフィルタリングアプローチである。
モデルの性能に悪影響を及ぼすことなく、最先端のバックドア攻撃を軽減できることを示す。
論文 参考訳（メタデータ） (2022-01-03T17:10:07Z) - Virtual Data Augmentation: A Robust and General Framework for
Fine-tuning Pre-trained Models [51.46732511844122]
強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。
VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。
本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
論文 参考訳（メタデータ） (2021-09-13T09:15:28Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。