論文の概要: LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating
Byzantine Attacks in Federated Learning
- arxiv url: http://arxiv.org/abs/2107.12490v1
- Date: Mon, 26 Jul 2021 21:34:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-28 14:28:25.737865
- Title: LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating
Byzantine Attacks in Federated Learning
- Title（参考訳）: legato:フェデレート学習におけるビザンチン攻撃緩和のための階層型勾配集約アルゴリズム
- Authors: Kamala Varma, Yi Zhou, Nathalie Baracaldo, Ali Anwar
- Abstract要約: フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれました。
対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。
LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 10.667821026727573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning has arisen as a mechanism to allow multiple participants
to collaboratively train a model without sharing their data. In these settings,
participants (workers) may not trust each other fully; for instance, a set of
competitors may collaboratively train a machine learning model to detect fraud.
The workers provide local gradients that a central server uses to update a
global model. This global model can be corrupted when Byzantine workers send
malicious gradients, which necessitates robust methods for aggregating
gradients that mitigate the adverse effects of Byzantine inputs. Existing
robust aggregation algorithms are often computationally expensive and only
effective under strict assumptions. In this paper, we introduce LayerwisE
Gradient AggregatTiOn (LEGATO), an aggregation algorithm that is, by contrast,
scalable and generalizable. Informed by a study of layer-specific responses of
gradients to Byzantine attacks, LEGATO employs a dynamic gradient reweighing
scheme that is novel in its treatment of gradients based on layer-specific
robustness. We show that LEGATO is more computationally efficient than multiple
state-of-the-art techniques and more generally robust across a variety of
attack settings in practice. We also demonstrate LEGATO's benefits for gradient
descent convergence in the absence of an attack.
- Abstract（参考訳）: フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれた。
これらの設定では、参加者(労働者)はお互いを完全に信頼できない可能性がある。例えば、競合相手のセットは、不正を検出するために機械学習モデルを共同で訓練することができる。
ワーカは、中央サーバがグローバルモデル更新に使用するローカル勾配を提供する。
このグローバルモデルは、ビザンチンの労働者が悪質な勾配を送ると腐敗し、ビザンチンの入力の悪影響を軽減するような勾配を集約するための堅牢な方法が必要となる。
既存のロバスト集約アルゴリズムはしばしば計算コストが高く、厳密な仮定の下でのみ有効である。
本稿では,対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。
ビザンチン攻撃に対する勾配の層特異的応答の研究により、LEGATOは層特異的ロバスト性に基づく勾配の処理において新しい動的勾配緩和スキームを採用している。
LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
また,LEGATOの攻撃がない場合の勾配降下収束に対する利点を実証した。
関連論文リスト
- Language Models as Zero-shot Lossless Gradient Compressors: Towards
General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。
本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文 参考訳（メタデータ） (2024-09-26T13:38:33Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。
最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。
本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
論文 参考訳（メタデータ） (2022-08-17T05:49:52Z) - Backdoor Attacks in Federated Learning by Rare Embeddings and Gradient
Ensembling [36.30908735595904]
テキスト分類とシーケンス・ツー・シーケンスタスクにおけるNLPモデルのテクストトラル単語埋め込みによるバックドア攻撃に対するモデル中毒の可能性について検討する。
より複雑なデータセットでは、わずか0.1%の敵クライアントがグローバルモデルに効果的に悪影響を及ぼすのに十分である。
また,すべての実験環境におけるバックドア性能を向上させるための,勾配アンサンブルと呼ばれる協調学習手法を提案する。
論文 参考訳（メタデータ） (2022-04-29T11:17:05Z) - Byzantine-robust Federated Learning through Collaborative Malicious
Gradient Filtering [32.904425716385575]
勾配ベクトルの要素ワイドサインは, モデル中毒攻撃の検出に有用であることを示す。
そこで本稿では,Byzantine-robust フェデレーション学習を有害な勾配フィルタリングによって実現するための textitSignGuard という新しい手法を提案する。
論文 参考訳（メタデータ） (2021-09-13T11:15:15Z) - Aspis: A Robust Detection System for Distributed Learning [13.90938823562779]
機械学習システムは、いくつかのコンピューティングデバイスが異常(ビザンティン)な振る舞いを示すときに、妥協される。
提案手法は,サブセットベースの代入を用いて作業ノードに勾配計算を割り当てる。
我々は、弱強攻撃下でのビザンチンの弾力性とアスピスの検出の保証を証明し、様々な大規模訓練シナリオにおいてシステムを広範囲に評価する。
論文 参考訳（メタデータ） (2021-08-05T07:24:38Z) - Style Curriculum Learning for Robust Medical Image Segmentation [62.02435329931057]
深部セグメンテーションモデルは、トレーニングデータセットとテストデータセットの間の画像強度の分散シフトによって、しばしば劣化する。
本稿では,そのような分散シフトが存在する場合に,ロバストなセグメンテーションを確保するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-01T08:56:24Z) - Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。
そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。
我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
論文 参考訳（メタデータ） (2021-04-20T02:31:55Z) - Simeon -- Secure Federated Machine Learning Through Iterative Filtering [74.99517537968161]
連合学習は、分散的で相互に信頼できない学習エージェントによって、グローバルな機械学習モデルを協調的に訓練することを可能にする。
グローバルモデルは、トレーニングを行うクライアントに配布され、新しく訓練されたモデルを優れたモデルに集約します。
ビザンチン耐性アグリゲーションアルゴリズムのクラスが出現し、これらの攻撃に対して様々な堅牢性を提供している。
本稿では,評価に基づく反復フィルタリング手法を適用した新しいアグリゲーション手法であるSimeonを提案する。
論文 参考訳（メタデータ） (2021-03-13T12:17:47Z) - Accumulated Decoupled Learning: Mitigating Gradient Staleness in
Inter-Layer Model Parallelization [16.02377434191239]
本稿では, 定常勾配効果を緩和するために, 勾配累積法を取り入れた累積非結合学習(ADL)を提案する。
提案手法は, 非同期性にもかかわらず, 臨界点, すなわち勾配が0に収束することを示す。
ADLは分類タスクにおいていくつかの最先端技術よりも優れており、比較手法の中では最速である。
論文 参考訳（メタデータ） (2020-12-03T11:52:55Z) - Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。
提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
論文 参考訳（メタデータ） (2020-10-21T02:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。