論文の概要: Bidirectional compression in heterogeneous settings for distributed or
federated learning with partial participation: tight convergence guarantees
- arxiv url: http://arxiv.org/abs/2006.14591v4
- Date: Sun, 19 Jun 2022 15:40:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 03:22:36.284724
- Title: Bidirectional compression in heterogeneous settings for distributed or
federated learning with partial participation: tight convergence guarantees
- Title(参考訳): 部分的参加を伴う分散・フェデレーション学習における不均一環境における双方向圧縮:密接な収束保証
- Authors: Constantin Philippenko and Aymeric Dieuleveut
- Abstract要約: Artemisは、コミュニケーション制約とデバイス部分的な参加を伴う分散環境での学習問題を解決するためのフレームワークである。
これは、一方向圧縮(サーバへの)のみを考慮する既存のアルゴリズムを改善したり、圧縮演算子に非常に強い仮定を用いており、デバイスの部分的な参加を考慮していないことが多い。
- 参考スコア(独自算出の注目度): 9.31522898261934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a framework - Artemis - to tackle the problem of learning in a
distributed or federated setting with communication constraints and device
partial participation. Several workers (randomly sampled) perform the
optimization process using a central server to aggregate their computations. To
alleviate the communication cost, Artemis allows to compress the information
sent in both directions (from the workers to the server and conversely)
combined with a memory mechanism. It improves on existing algorithms that only
consider unidirectional compression (to the server), or use very strong
assumptions on the compression operator, and often do not take into account
devices partial participation. We provide fast rates of convergence (linear up
to a threshold) under weak assumptions on the stochastic gradients (noise's
variance bounded only at optimal point) in non-i.i.d. setting, highlight the
impact of memory for unidirectional and bidirectional compression, analyze
Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower
bound of the asymptotic variance that highlights practical limits of
compression. We propose two approaches to tackle the challenging case of
devices partial participation and provide experimental results to demonstrate
the validity of our analysis.
- Abstract(参考訳): コミュニケーションの制約とデバイス部分参加を伴う分散あるいは連合環境での学習の問題に取り組むために,artemisというフレームワークを導入する。
いくつかのワーカー(ほとんどがサンプル)は、中央サーバを使用して計算を集約する最適化プロセスを実行します。
通信コストを軽減するため、artemisは(ワーカーからサーバへ、逆に)両方の方向に送信される情報をメモリ機構と組み合わせて圧縮することができる。
既存のアルゴリズムでは(サーバへの)一方向圧縮のみを考えるか、圧縮演算子に非常に強い仮定を用いるように改善され、デバイスの部分的な参加を考慮していないことが多い。
確率勾配(最適点のみに有界なノイズの分散)の弱い仮定の下で、高速収束率(しきい値まで線形)を提供し、一方向および双方向圧縮におけるメモリの影響を強調し、Polyak-Ruppert平均化を解析する。
我々は分布の収束を利用して、実際の圧縮限界を強調する漸近的分散の低い境界を得る。
デバイス部分参加の課題に取り組むための2つのアプローチを提案し,その妥当性を実証するための実験結果を提供する。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳(メタデータ) (2024-06-26T15:11:26Z) - Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳(メタデータ) (2024-05-17T21:17:27Z) - Lower Bounds and Accelerated Algorithms in Distributed Stochastic
Optimization with Communication Compression [31.107056382542417]
通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。
軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
論文 参考訳(メタデータ) (2023-05-12T17:02:43Z) - Distributed Newton-Type Methods with Communication Compression and
Bernoulli Aggregation [11.870393751095083]
曲率情報に対する同調圧縮と集約機構について検討する。
適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。
全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
論文 参考訳(メタデータ) (2022-06-07T21:12:21Z) - EF-BV: A Unified Theory of Error Feedback and Variance Reduction
Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。
圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。
本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-09T10:44:23Z) - Unified Multivariate Gaussian Mixture for Efficient Neural Image
Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。
ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。
当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文 参考訳(メタデータ) (2022-03-21T11:44:17Z) - Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。
ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。
我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
論文 参考訳(メタデータ) (2021-08-17T18:04:06Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。