論文の概要: TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation
- arxiv url: http://arxiv.org/abs/2302.09832v3
- Date: Sat, 27 Apr 2024 13:55:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 01:44:16.343499
- Title: TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation
- Title(参考訳): TAMUNA: ローカルトレーニング,圧縮,部分参加による分散最適化の2倍高速化
- Authors: Laurent Condat, Ivan Agarský, Grigory Malinovsky, Peter Richtárik,
- Abstract要約: 分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。
ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
- 参考スコア(独自算出の注目度): 53.84175614198885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In distributed optimization and learning, several machines alternate between local computations in parallel and communication with a distant server. Communication is usually slow and costly and forms the main bottleneck. This is particularly true in federated learning, where a large number of users collaborate toward a global training task. In addition, it is desirable for a robust algorithm to allow for partial participation, since it is often the case that some clients are not able to participate to the entire process and are idle at certain times. Two strategies are popular to reduce the communication burden: 1) local training, which consists in communicating less frequently, or equivalently performing more local computations between the communication rounds; and 2) compression, whereby compressed information instead of full-dimensional vectors is communicated. We propose TAMUNA, the first algorithm for distributed optimization that leveraged the two strategies of local training and compression jointly and allows for partial participation. In the strongly convex setting, TAMUNA converges linearly to the exact solution and provably benefits from the two mechanisms: it exhibits a doubly-accelerated convergence rate, with respect to the condition number of the functions and the model dimension.
- Abstract(参考訳): 分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。
通信は通常遅くてコストがかかり、主要なボトルネックを形成します。
これは、多くのユーザがグローバルなトレーニングタスクに向かって協力するフェデレーション学習において特に当てはまります。
さらに、一部のクライアントがプロセス全体に参加することができず、ある時点でアイドル状態にある場合が多いため、ロバストなアルゴリズムが部分的な参加を可能にすることが望ましい。
コミュニケーションの負担を軽減するために2つの戦略が一般的である。
1) 通信頻度の低い、または通信ラウンド間のより局所的な計算を同等に行うローカルトレーニング。
2) 圧縮により, 実次元ベクトルの代わりに圧縮情報を伝達する。
ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
強い凸設定では、TAMUNAは正確な解に線形に収束し、2つのメカニズムの利点を証明し、関数の条件数とモデル次元に関して2倍に加速する収束率を示す。
関連論文リスト
- LoCoDL: Communication-Efficient Distributed Learning with Local Training
and Compression [8.37672888329615]
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
論文 参考訳(メタデータ) (2024-03-07T09:22:50Z) - Optimal Data Splitting in Distributed Optimization for Machine Learning [85.99744701008802]
本研究は,サーバとローカルマシン間の分散データの最適比に着目し,通信コストとローカル計算のコストについて検討する。
ネットワークの実行時間は、一様分布と最適分布で比較される。
提案手法の優れた理論的性能を実験的に検証した。
論文 参考訳(メタデータ) (2024-01-15T16:30:12Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - Explicit Personalization and Local Training: Double Communication
Acceleration in Federated Learning [7.691755449724637]
通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。
そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
論文 参考訳(メタデータ) (2023-05-22T15:58:01Z) - Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication [7.691755449724637]
分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
論文 参考訳(メタデータ) (2022-10-24T14:13:54Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z) - FedChain: Chained Algorithms for Near-Optimal Communication Cost in
Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。
本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文 参考訳(メタデータ) (2021-08-16T02:57:06Z) - Communication-Efficient Decentralized Learning with Sparsification and
Adaptive Peer Selection [13.963329236804586]
本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。
各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
論文 参考訳(メタデータ) (2020-02-22T12:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。