論文の概要: A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
- arxiv url: http://arxiv.org/abs/2305.02022v2
- Date: Wed, 14 Aug 2024 13:37:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 18:56:36.648563
- Title: A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
- Title(参考訳): フェデレーション学習に対するエッジケースモデル攻撃に対するデータ駆動防御
- Authors: Kiran Purohit, Soumi Das, Sourangshu Bhattacharya, Santu Rana,
- Abstract要約: 本稿では,フェデレートラーニングシステムにおけるモデル中毒に対する効果的な防御法を提案する。
DataDefenseは、防衛データセットの各例を毒または清潔とマークする有毒データ検出モデルを学ぶ。
標準的な攻撃設定では攻撃成功率を少なくとも40%、いくつかの設定では80%以上削減することができる。
- 参考スコア(独自算出の注目度): 13.89043799280729
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning systems are increasingly subjected to a multitude of model poisoning attacks from clients. Among these, edge-case attacks that target a small fraction of the input space are nearly impossible to detect using existing defenses, leading to a high attack success rate. We propose an effective defense using an external defense dataset, which provides information about the attack target. The defense dataset contains a mix of poisoned and clean examples, with only a few known to be clean. The proposed method, DataDefense, uses this dataset to learn a poisoned data detector model which marks each example in the defense dataset as poisoned or clean. It also learns a client importance model that estimates the probability of a client update being malicious. The global model is then updated as a weighted average of the client models' updates. The poisoned data detector and the client importance model parameters are updated using an alternating minimization strategy over the Federated Learning rounds. Extensive experiments on standard attack scenarios demonstrate that DataDefense can defend against model poisoning attacks where other state-of-the-art defenses fail. In particular, DataDefense is able to reduce the attack success rate by at least ~ 40% on standard attack setups and by more than 80% on some setups. Furthermore, DataDefense requires very few defense examples (as few as five) to achieve a near-optimal reduction in attack success rate.
- Abstract(参考訳): フェデレーテッド・ラーニング・システムは、顧客からのモデル中毒攻撃の度合いが増している。
これらのうち、入力空間のごく一部を標的とするエッジケース攻撃は、既存の防御技術を用いて検出することはほぼ不可能であり、高い攻撃成功率をもたらす。
本稿では,攻撃対象に関する情報を提供する外部防衛データセットを用いた効果的な防御手法を提案する。
防衛データセットには毒とクリーンなサンプルが混在しており、クリーンであることが知られているのはごくわずかである。
提案手法であるDataDefenseは、このデータセットを使用して、防衛データセットの各例を毒または清潔とマークする有毒データ検出モデルを学ぶ。
また、クライアントの更新が悪意がある確率を見積もるクライアントの重要度モデルも学習する。
グローバルモデルは、クライアントモデルの更新の重み付け平均として更新される。
有毒データ検出器とクライアント重要モデルパラメータは、フェデレートラーニングラウンドの交互最小化戦略を用いて更新される。
標準的な攻撃シナリオに関する大規模な実験は、DataDefenseが他の最先端の防御が失敗するモデル中毒攻撃に対して防御できることを示している。
特に、DataDefenseは、標準的な攻撃設定では少なくとも40%、いくつかの設定では80%以上、攻撃成功率を下げることができます。
さらに、DataDefenseは攻撃成功率をほぼ最適に下げるために、防衛上の例(5つまで)をほとんど必要としない。
関連論文リスト
- Have You Poisoned My Data? Defending Neural Networks against Data Poisoning [0.393259574660092]
本稿では,トランスファー学習環境における有毒なデータポイントの検出とフィルタリングを行う新しい手法を提案する。
有効毒は, 特徴ベクトル空間の清浄点とよく区別できることを示す。
提案手法は, 防衛率と最終訓練モデルの性能において, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-20T11:50:16Z) - Towards Attack-tolerant Federated Learning via Critical Parameter
Analysis [85.41873993551332]
フェデレートされた学習システムは、悪意のあるクライアントが中央サーバーに誤ったアップデートを送信すると、攻撃を害するおそれがある。
本稿では,新たな防衛戦略であるFedCPA(Federated Learning with critical Analysis)を提案する。
攻撃耐性凝集法は, 有害局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒であるのに対し, 類似したトップkおよびボトムk臨界パラメータを持つ。
論文 参考訳(メタデータ) (2023-08-18T05:37:55Z) - FedDefender: Client-Side Attack-Tolerant Federated Learning [60.576073964874]
フェデレーション学習は、プライバシを損なうことなく、分散化されたデータソースからの学習を可能にする。
悪意のあるクライアントがトレーニングプロセスに干渉する、毒殺攻撃のモデル化には脆弱である。
我々はFedDefenderと呼ばれるクライアントサイドに焦点を当てた新しい防御機構を提案し、クライアントの堅牢なローカルモデルのトレーニングを支援する。
論文 参考訳(メタデータ) (2023-07-18T08:00:41Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - Defending against the Label-flipping Attack in Federated Learning [5.769445676575767]
フェデレーテッド・ラーニング(FL)は、参加する仲間にデザインによる自律性とプライバシを提供する。
ラベルフリッピング(LF)攻撃(英: label-flipping, LF)は、攻撃者がラベルをめくってトレーニングデータに毒を盛る攻撃である。
本稿では、まず、ピアのローカル更新からこれらの勾配を動的に抽出する新しいディフェンスを提案する。
論文 参考訳(メタデータ) (2022-07-05T12:02:54Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳(メタデータ) (2022-06-17T02:29:23Z) - Influence Based Defense Against Data Poisoning Attacks in Online
Learning [9.414651358362391]
データ中毒は、攻撃者が少数のデータを操作して機械学習モデルのパフォーマンスを低下させる攻撃です。
オンライン環境における学習者のモデル上での有毒トレーニングデータによる劣化を最小限に抑える防衛機構を提案する。
論文 参考訳(メタデータ) (2021-04-24T08:39:13Z) - SPECTRE: Defending Against Backdoor Attacks Using Robust Statistics [44.487762480349765]
少量の中毒データは、攻撃者が特定した透かしによって、訓練されたモデルの行動を変える。
堅牢な共分散推定を用いて,破損したデータのスペクトルシグネチャを増幅する,新たな防御アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-22T20:49:40Z) - Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。
我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。
フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
論文 参考訳(メタデータ) (2020-09-04T16:17:54Z) - Subpopulation Data Poisoning Attacks [18.830579299974072]
機械学習に対する攻撃は、機械学習アルゴリズムが使用するデータの逆修正を誘導し、デプロイ時に出力を選択的に変更する。
本研究では,エフェサブポピュレーションアタック(emphsubpopulation attack)と呼ばれる新たなデータ中毒攻撃を導入する。
サブポピュレーション攻撃のためのモジュラーフレームワークを設計し、異なるビルディングブロックでインスタンス化し、その攻撃がさまざまなデータセットや機械学習モデルに有効であることを示す。
論文 参考訳(メタデータ) (2020-06-24T20:20:52Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。