論文の概要: SignGuard: Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering

• arxiv url: http://arxiv.org/abs/2109.05872v1
• Date: Mon, 13 Sep 2021 11:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:07:32.265374
• Title: SignGuard: Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering
• Title（参考訳）: signguard: 協調的な悪意のある勾配フィルタリングによるビザンチン・ロバスト連関学習
• Authors: Jian Xu, Shao-Lun Huang, Linqi Song, Tian Lan
• Abstract要約: フェデレート学習におけるグラディエントベースのトレーニングは、欠陥のある/悪意のあるワーカノードに対して脆弱であることが知られている。 そこで我々は,Byzantine-robustフェデレーション学習を実現するための新しいアプローチである textitSignGuard を提案する。
• 参考スコア（独自算出の注目度）: 23.56757532062631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based training in federated learning is known to be vulnerable to faulty/malicious worker nodes, which are often modeled as Byzantine clients. Previous work either makes use of auxiliary data at parameter server to verify the received gradients or leverages statistic-based methods to identify and remove malicious gradients from Byzantine clients. In this paper, we acknowledge that auxiliary data may not always be available in practice and focus on the statistic-based approach. However, recent work on model poisoning attacks have shown that well-crafted attacks can circumvent most of existing median- and distance-based statistical defense methods, making malicious gradients indistinguishable from honest ones. To tackle this challenge, we show that the element-wise sign of gradient vector can provide valuable insight in detecting model poisoning attacks. Based on our theoretical analysis of state-of-the-art attack, we propose a novel approach, \textit{SignGuard}, to enable Byzantine-robust federated learning through collaborative malicious gradient filtering. More precisely, the received gradients are first processed to generate relevant magnitude, sign, and similarity statistics, which are then collaboratively utilized by multiple, parallel filters to eliminate malicious gradients before final aggregation. We further provide theoretical analysis of SignGuard by quantifying its convergence with appropriate choice of learning rate and under non-IID training data. Finally, extensive experiments of image and text classification tasks - including MNIST, Fashion-MNIST, CIFAR-10, and AG-News - are conducted together with recently proposed attacks and defense strategies. The numerical results demonstrate the effectiveness and superiority of our proposed approach.
• Abstract（参考訳）: フェデレーション学習における勾配ベースのトレーニングは、しばしばビザンチンクライアントとしてモデル化される、障害/悪意のあるワーカノードに対して脆弱であることが知られている。 以前の作業では、パラメータサーバの補助データを使用して受信した勾配を検証するか、統計ベースの方法を使用してビザンチンクライアントから悪意のある勾配を識別し削除する。 本稿では,補助データが常に利用可能であるとは限らないことを認め,統計に基づくアプローチに着目する。 しかし、近年のモデル中毒攻撃の研究により、既存の中央値と距離ベースの統計的防御手法のほとんどを回避でき、悪質な勾配を正直なものと区別できないことが示されている。 この課題に取り組むために,勾配ベクトルの要素方向符号がモデル中毒攻撃の検出に有用な洞察を与えることを示す。 我々は,最先端攻撃の理論的解析に基づいて,Byzantine-robustフェデレーション学習を可能にする新しいアプローチである「textit{SignGuard}」を提案する。 より正確には、受信した勾配はまず関連する大きさ、符号、類似度統計を生成するために処理され、最終的な集計の前に悪意のある勾配を取り除くために複数の並列フィルタによって協調的に利用される。 さらに,その収束度を学習速度の適切な選択と非IIDトレーニングデータに基づいて定量化し,SignGuardの理論解析を行う。 最後に、MNIST、Fashion-MNIST、CIFAR-10、AG-Newsを含む画像およびテキスト分類タスクの広範な実験を、最近提案された攻撃と防衛戦略と共に実施する。 その結果,提案手法の有効性と優位性を示した。

関連論文リスト

• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Query-Efficient Black-box Adversarial Attacks Guided by a Transfer-based Prior [50.393092185611536]
  対象モデルの勾配にアクセスできることなく、敵が敵の例を作らなければならないブラックボックスの敵設定を考える。 従来の手法では、代用ホワイトボックスモデルの転送勾配を用いたり、モデルクエリのフィードバックに基づいて真の勾配を近似しようとした。 偏りサンプリングと勾配平均化に基づく2つの事前誘導型ランダム勾配フリー(PRGF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-13T04:06:27Z)
• RamBoAttack: A Robust Query Efficient Deep Neural Network Decision Exploit [9.93052896330371]
  本研究では,局所的な最小値の侵入を回避し,ノイズ勾配からのミスダイレクトを回避できる,堅牢なクエリ効率の高い攻撃法を開発した。 RamBoAttackは、敵クラスとターゲットクラスで利用可能な異なるサンプルインプットに対して、より堅牢である。
  論文  参考訳（メタデータ） (2021-12-10T01:25:24Z)
• Towards A Conceptually Simple Defensive Approach for Few-shot classifiers Against Adversarial Support Samples [107.38834819682315]
  本研究は,数発の分類器を敵攻撃から守るための概念的簡便なアプローチについて検討する。 本稿では,自己相似性とフィルタリングの概念を用いた簡易な攻撃非依存検出法を提案する。 ミニイメージネット(MI)とCUBデータセットの攻撃検出性能は良好である。
  論文  参考訳（メタデータ） (2021-10-24T05:46:03Z)
• Aspis: A Robust Detection System for Distributed Learning [13.90938823562779]
  機械学習システムは、いくつかのコンピューティングデバイスが異常(ビザンティン)な振る舞いを示すときに、妥協される。 提案手法は,サブセットベースの代入を用いて作業ノードに勾配計算を割り当てる。 我々は、弱強攻撃下でのビザンチンの弾力性とアスピスの検出の保証を証明し、様々な大規模訓練シナリオにおいてシステムを広範囲に評価する。
  論文  参考訳（メタデータ） (2021-08-05T07:24:38Z)
• LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning [10.667821026727573]
  フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれました。 対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。 LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-07-26T21:34:45Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)
• Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
  この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。 我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
  論文  参考訳（メタデータ） (2020-07-07T18:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。