論文の概要: LoCoDL: Communication-Efficient Distributed Learning with Local Training
and Compression
- arxiv url: http://arxiv.org/abs/2403.04348v1
- Date: Thu, 7 Mar 2024 09:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 14:35:27.243538
- Title: LoCoDL: Communication-Efficient Distributed Learning with Local Training
and Compression
- Title(参考訳): LoCoDL: ローカルトレーニングと圧縮によるコミュニケーション効率の良い分散学習
- Authors: Laurent Condat, Artavazd Maranjyan, Peter Richt\'arik
- Abstract要約: そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
- 参考スコア(独自算出の注目度): 8.37672888329615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Distributed optimization and Learning, and even more in the modern
framework of federated learning, communication, which is slow and costly, is
critical. We introduce LoCoDL, a communication-efficient algorithm that
leverages the two popular and effective techniques of Local training, which
reduces the communication frequency, and Compression, in which short bitstreams
are sent instead of full-dimensional vectors of floats. LoCoDL works with a
large class of unbiased compressors that includes widely-used sparsification
and quantization methods. LoCoDL provably benefits from local training and
compression and enjoys a doubly-accelerated communication complexity, with
respect to the condition number of the functions and the model dimension, in
the general heterogenous regime with strongly convex functions. This is
confirmed in practice, with LoCoDL outperforming existing algorithms.
- Abstract(参考訳): 分散最適化と学習、さらにはフェデレーション学習の現代的なフレームワークでは、遅くてコストのかかるコミュニケーションが重要です。
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)の2つの手法を応用した通信効率の高いアルゴリズムを提案する。
LoCoDLは、広く使われているスパーシフィケーションと量子化法を含む、多数の非バイアス圧縮機で動作する。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種系において、関数の条件数とモデル次元に関して二重に加速された通信複雑性を享受する。
これは実際に確認されており、LoCoDLは既存のアルゴリズムより優れている。
関連論文リスト
- Communication-Efficient Distributed Learning with Local Immediate Error
Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。
LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文 参考訳(メタデータ) (2024-02-19T05:59:09Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - CoDeC: Communication-Efficient Decentralized Continual Learning [6.663641564969944]
エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。
プライバシーに関する懸念は、空間的にも時間的に分散したデータにおいても、このコロケーションを禁止している。
通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。
論文 参考訳(メタデータ) (2023-03-27T16:52:17Z) - TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation [6.843808986792989]
連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
分散最適化とフェデレート学習のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳(メタデータ) (2023-02-20T08:37:44Z) - Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication [7.691755449724637]
分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
論文 参考訳(メタデータ) (2022-10-24T14:13:54Z) - Personalized Federated Learning with Communication Compression [5.389294754404344]
双方向通信プロトコルでL2GD(Loopless Gradient Descent)アルゴリズムを実装した。
我々のアルゴリズムは確率的通信プロトコルで動作しており、通信は固定されたスケジュールで行われない。
論文 参考訳(メタデータ) (2022-09-12T11:08:44Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - Communication-Compressed Adaptive Gradient Method for Distributed
Nonconvex Optimization [21.81192774458227]
主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。
提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
論文 参考訳(メタデータ) (2021-11-01T04:54:55Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。