論文の概要: Invariant Aggregator for Defending Federated Backdoor Attacks
- arxiv url: http://arxiv.org/abs/2210.01834v1
- Date: Tue, 4 Oct 2022 18:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 15:05:12.305981
- Title: Invariant Aggregator for Defending Federated Backdoor Attacks
- Title(参考訳): フェデレーションバックドア攻撃に対する不変アグリゲータ
- Authors: Xiaoyang Wang, Dimitrios Dimitriadis, Sanmi Koyejo, Shruti Tople
- Abstract要約: フェデレートラーニングは、プライベートデータを直接共有することなく、複数のクライアントにわたる高ユーティリティモデルのトレーニングを可能にする。
欠点として、フェデレートされた設定は、悪意のあるクライアントの存在下での様々な敵攻撃に対して、モデルを脆弱にする。
本稿では,フェデレート学習環境におけるバックドア攻撃の軽減策を提案する。
- 参考スコア(独自算出の注目度): 27.353639773223453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is gaining popularity as it enables training of
high-utility models across several clients without directly sharing their
private data. As a downside, the federated setting makes the model vulnerable
to various adversarial attacks in the presence of malicious clients.
Specifically, an adversary can perform backdoor attacks to control model
predictions via poisoning the training dataset with a trigger. In this work, we
propose a mitigation for backdoor attacks in a federated learning setup. Our
solution forces the model optimization trajectory to focus on the invariant
directions that are generally useful for utility and avoid selecting directions
that favor few and possibly malicious clients. Concretely, we consider the sign
consistency of the pseudo-gradient (the client update) as an estimation of the
invariance. Following this, our approach performs dimension-wise filtering to
remove pseudo-gradient elements with low sign consistency. Then, a robust mean
estimator eliminates outliers among the remaining dimensions. Our theoretical
analysis further shows the necessity of the defense combination and illustrates
how our proposed solution defends the federated learning model. Empirical
results on three datasets with different modalities and varying number of
clients show that our approach mitigates backdoor attacks with a negligible
cost on the model utility.
- Abstract(参考訳): プライベートデータを直接共有することなく、複数のクライアント間で高可用性モデルのトレーニングを可能にするため、フェデレーション学習が人気を集めている。
マイナス面として、フェデレーション設定は、悪意のあるクライアントの存在下で、様々な敵の攻撃に対して、モデルを脆弱にする。
具体的には、敵はトレーニングデータセットをトリガーで毒殺することで、モデル予測を制御するためにバックドア攻撃を行うことができる。
本研究では,連合学習環境におけるバックドア攻撃の軽減策を提案する。
我々のソリューションは、モデル最適化の軌道を、ユーティリティに一般的に有用な不変方向に集中させ、悪意のあるクライアントがほとんどいないかもしれない方向を選択することを避けます。
具体的には、擬似勾配(クライアント更新)の符号一貫性を不変性の推定として考慮する。
これに続いて,我々は,符号一貫性の低い擬似勾配要素を除去するため,次元的にフィルタリングを行う。
そして、ロバスト平均推定器は、残りの次元の外れ値を排除する。
理論解析により,防御結合の必要性がさらに示され,提案手法がフェデレーション学習モデルをどのように防御するかが示されている。
異なるモダリティと異なる数のクライアントを持つ3つのデータセットに対する実験結果から、我々のアプローチはモデルユーティリティに無視できるコストでバックドア攻撃を緩和することを示している。
関連論文リスト
- Aggressive or Imperceptible, or Both: Network Pruning Assisted Hybrid Byzantines in Federated Learning [6.384138583754105]
フェデレートラーニング(FL)は、多種多様なクライアント(おそらくモバイルデバイス)が、一般化された機械学習モデルの生成に協力できるようにするために導入された。
多数のクライアントが参加しているため、各クライアントのプロファイルと検証が難しい場合が多いため、セキュリティ上の脅威が発生します。
本研究では,より高感度のNN位置のみを攻撃し,さらに時間とともに蓄積するハイブリッド・スパルス・ビザンチン攻撃を導入する。
論文 参考訳(メタデータ) (2024-04-09T11:42:32Z) - Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared
Adversarial Examples [67.66153875643964]
バックドア攻撃は、機械学習モデルに対する深刻なセキュリティ脅威である。
本稿では,小さなクリーンデータセットを用いて,バックドアモデルの浄化作業について検討する。
バックドアリスクと敵的リスクの関連性を確立することにより、バックドアリスクに対する新たな上限を導出する。
論文 参考訳(メタデータ) (2023-07-20T03:56:04Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - On the Vulnerability of Backdoor Defenses for Federated Learning [8.345632941376673]
Federated Learning(FL)は、クライアントのデータを共有することなく、グローバルモデルの共同トレーニングを可能にする、人気のある分散機械学習パラダイムである。
本稿では,現在の防衛機構が,フェデレートラーニングによるバックドアの脅威を真に中和するかどうかを考察する。
本稿では,新たなバックドア攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-01-19T17:02:02Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Dropout is NOT All You Need to Prevent Gradient Leakage [0.6021787236982659]
反復的勾配反転攻撃に対するドロップアウトの影響を解析する。
本稿では,クライアントデータとドロップアウトマスクを協調的に最適化する新しいインバージョンアタック(DIA)を提案する。
提案した攻撃は, 投棄によって引き起こされると思われる保護を回避し, 高い忠実度でクライアントデータを再構築する。
論文 参考訳(メタデータ) (2022-08-12T08:29:44Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - Towards Defending against Adversarial Examples via Attack-Invariant
Features [147.85346057241605]
ディープニューラルネットワーク(DNN)は敵の雑音に弱い。
敵の強靭性は、敵の例を利用して改善することができる。
目に見えない種類の敵の例に基づいて訓練されたモデルは、一般的に、目に見えない種類の敵の例にうまく一般化できない。
論文 参考訳(メタデータ) (2021-06-09T12:49:54Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。