論文の概要: $z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning

• arxiv url: http://arxiv.org/abs/2302.02589v1
• Date: Mon, 6 Feb 2023 06:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 17:32:56.996275
• Title: $z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning
• Title（参考訳）: $z$-SignFedAvg:フェデレートラーニングのための統一確率的手話圧縮
• Authors: Zhiwei Tang, Yanmeng Wang, Tsung-Hui Chang
• Abstract要約: フェデレートラーニング(FL)は、将来性のあるプライバシ保護型分散ラーニングパラダイムである。 FLは、大規模な機械学習モデルをトレーニングする際に、高い通信コストに悩まされる。 信号ベース圧縮のための一般対称雑音分布を用いた新しい雑音摂動方式を提案する。
• 参考スコア（独自算出の注目度）: 14.363110221372274
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning (FL) is a promising privacy-preserving distributed learning paradigm but suffers from high communication cost when training large-scale machine learning models. Sign-based methods, such as SignSGD \cite{bernstein2018signsgd}, have been proposed as a biased gradient compression technique for reducing the communication cost. However, sign-based algorithms could diverge under heterogeneous data, which thus motivated the development of advanced techniques, such as the error-feedback method and stochastic sign-based compression, to fix this issue. Nevertheless, these methods still suffer from slower convergence rates. Besides, none of them allows multiple local SGD updates like FedAvg \cite{mcmahan2017communication}. In this paper, we propose a novel noisy perturbation scheme with a general symmetric noise distribution for sign-based compression, which not only allows one to flexibly control the tradeoff between gradient bias and convergence performance, but also provides a unified viewpoint to existing stochastic sign-based methods. More importantly, the unified noisy perturbation scheme enables the development of the very first sign-based FedAvg algorithm ($z$-SignFedAvg) to accelerate the convergence. Theoretically, we show that $z$-SignFedAvg achieves a faster convergence rate than existing sign-based methods and, under the uniformly distributed noise, can enjoy the same convergence rate as its uncompressed counterpart. Extensive experiments are conducted to demonstrate that the $z$-SignFedAvg can achieve competitive empirical performance on real datasets and outperforms existing schemes.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、プライバシ保護型の分散学習パラダイムとして将来性が高いが、大規模機械学習モデルのトレーニングでは高い通信コストがかかる。 signgd \cite{bernstein2018signsgd}のような符号ベースの手法は、通信コストを削減するバイアスド勾配圧縮技術として提案されている。 しかし、符号ベースのアルゴリズムは異種データの下で分岐する可能性があるため、この問題を解決するためにエラーフィードバック法や確率的な符号ベースの圧縮といった高度な手法の開発が動機となった。 しかし、これらの手法は依然として収束率の低下に苦しむ。 さらに、FedAvg \cite{mcmahan2017communication}のようなローカルなSGD更新は許可されていない。 本稿では,符号ベース圧縮に対する一般対称雑音分布を持つ新しい雑音摂動スキームを提案し,勾配バイアスと収束性能のトレードオフを柔軟に制御できるだけでなく,既存の確率的符号ベース手法への統一的な視点を提供する。 さらに重要なことは、統一された雑音摂動方式は、収束を加速するために、非常に最初の符号ベースのFedAvgアルゴリズム(z$-SignFedAvg)の開発を可能にすることである。 理論的には、$z$-signfedavgは、既存の符号ベースの方法よりも高速な収束率を達成し、均一に分布するノイズの下では、圧縮されていない方法と同じ収束率を享受できる。 大規模な実験により、$z$-SignFedAvgは、実際のデータセット上での競合的な経験的パフォーマンスを達成し、既存のスキームより優れていることを示す。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis [3.665841843512992]
  分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。 ノイズの多い通信チャネルで効率的に機能するように調整されている。 FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
  論文  参考訳（メタデータ） (2024-03-20T02:17:47Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning [24.016538592246377]
  ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。 本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。 そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2021-04-14T08:16:03Z)
• A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients [8.202072658184166]
  本稿では,量子化勾配を用いた分散GAN学習アルゴリズムDQGANを提案する。 この新しい方法は、OMDアルゴリズムと呼ばれる特定の単一マシンアルゴリズムに基づいてGANを訓練し、一般的な$delta$-approximate圧縮器を満たす任意の勾配圧縮手法に適用できる。 理論的には、DQGANアルゴリズムの1次定常点への非漸近収束を確立し、提案アルゴリズムが線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:06:43Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。