論文の概要: BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify
Communication-Efficient Federated Learning
- arxiv url: http://arxiv.org/abs/2104.06685v1
- Date: Wed, 14 Apr 2021 08:16:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 13:26:34.701401
- Title: BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify
Communication-Efficient Federated Learning
- Title（参考訳）: BROADCAST:コミュニケーション効率の良いフェデレーション学習のロバスト化のための確率雑音と圧縮雑音の低減
- Authors: Heng Zhu, Qing Ling
- Abstract要約: ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。
本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。
そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
- 参考スコア（独自算出の注目度）: 24.016538592246377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Communication between workers and the master node to collect local stochastic
gradients is a key bottleneck in a large-scale federated learning system.
Various recent works have proposed to compress the local stochastic gradients
to mitigate the communication overhead. However, robustness to malicious
attacks is rarely considered in such a setting. In this work, we investigate
the problem of Byzantine-robust federated learning with compression, where the
attacks from Byzantine workers can be arbitrarily malicious. We point out that
a vanilla combination of compressed stochastic gradient descent (SGD) and
geometric median-based robust aggregation suffers from both stochastic and
compression noise in the presence of Byzantine attacks. In light of this
observation, we propose to jointly reduce the stochastic and compression noise
so as to improve the Byzantine-robustness. For the stochastic noise, we adopt
the stochastic average gradient algorithm (SAGA) to gradually eliminate the
inner variations of regular workers. For the compression noise, we apply the
gradient difference compression and achieve compression for free. We
theoretically prove that the proposed algorithm reaches a neighborhood of the
optimal solution at a linear convergence rate, and the asymptotic learning
error is in the same order as that of the state-of-the-art uncompressed method.
Finally, numerical experiments demonstrate effectiveness of the proposed
method.
- Abstract（参考訳）: 作業者とマスタノード間の通信によって局所確率勾配を収集することは,大規模なフェデレーション学習システムにおいて重要なボトルネックとなる。
近年,通信オーバーヘッドを軽減するため,局所確率勾配を圧縮する手法が提案されている。
しかし、このような状況では悪意のある攻撃に対する堅牢性はまれである。
本研究では,ビザンチン労働者による攻撃が任意に悪質な場合,圧縮を伴うビザンチン・ロバスト連関学習の問題点について検討する。
我々は,圧縮確率勾配降下 (sgd) と幾何学的中央値に基づくロバストアグリゲーションのバニラ結合は,ビザンチン攻撃の有無で確率的および圧縮的ノイズに苦しむことを指摘した。
この観察から, 確率的および圧縮的ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
確率的雑音に対しては,正規労働者の内的変動を徐々に排除するために,確率的平均勾配アルゴリズム(saga)を採用する。
圧縮雑音に対して,勾配差圧縮を適用し,自由圧縮を実現する。
提案アルゴリズムは線形収束速度で最適解の近傍に到達することを理論的に証明し,漸近学習誤差は最先端の非圧縮手法と同じ順序であることを示す。
最後に,提案手法の有効性を示す数値実験を行った。
関連論文リスト
- Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳（メタデータ） (2024-05-17T21:17:27Z) - Byzantine-Robust Decentralized Stochastic Optimization with Stochastic
Gradient Noise-Independent Learning Error [25.15075119957447]
分散ネットワーク上でのビザンチン-ロバスト最適化について検討し、各エージェントが近隣のエージェントと定期的に通信して局所モデルを交換し、勾配降下(SGD)により独自の局所モデルを更新する。
このような手法の性能は、最適化プロセス中に逆向きに実行される未知数のビザンチンエージェントに影響される。
論文 参考訳（メタデータ） (2023-08-10T02:14:23Z) - $z$-SignFedAvg: A Unified Stochastic Sign-based Compression for
Federated Learning [14.363110221372274]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護型分散ラーニングパラダイムである。
FLは、大規模な機械学習モデルをトレーニングする際に、高い通信コストに悩まされる。
信号ベース圧縮のための一般対称雑音分布を用いた新しい雑音摂動方式を提案する。
論文 参考訳（メタデータ） (2023-02-06T06:54:49Z) - Federated Optimization Algorithms with Random Reshuffling and Gradient
Compression [2.7554288121906296]
勾配圧縮法と非置換サンプリング法を初めて解析する。
制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。
既存のアルゴリズムを改善するいくつかの設定について概説する。
論文 参考訳（メタデータ） (2022-06-14T17:36:47Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳（メタデータ） (2021-11-30T02:13:54Z) - Escaping Saddle Points in Distributed Newton's Method with Communication
efficiency and Byzantine Resilience [49.379254729853756]
我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。
キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。
提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
論文 参考訳（メタデータ） (2021-03-17T03:53:58Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳（メタデータ） (2020-12-28T17:19:32Z) - Byzantine-Robust Variance-Reduced Federated Learning over Distributed
Non-i.i.d. Data [36.99547890386817]
我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。
不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。
Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
論文 参考訳（メタデータ） (2020-09-17T09:09:23Z) - On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳（メタデータ） (2020-02-27T19:52:24Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳（メタデータ） (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。