論文の概要: TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation
- arxiv url: http://arxiv.org/abs/2302.09832v2
- Date: Wed, 24 May 2023 18:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 20:44:37.205050
- Title: TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation
- Title(参考訳): TAMUNA: ローカルトレーニング, 圧縮, 部分参加による2倍のフェデレーション学習
- Authors: Laurent Condat, Ivan Agarsk\'y, Grigory Malinovsky, Peter Richt\'arik
- Abstract要約: 連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
分散最適化とフェデレート学習のための最初のアルゴリズムであるTAMUNAを提案する。
- 参考スコア(独自算出の注目度): 6.843808986792989
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning, a large number of users collaborate to learn a global
model. They alternate local computations and communication with a distant
server. Communication, which can be slow and costly, is the main bottleneck in
this setting. In addition to communication-efficiency, a robust algorithm
should allow for partial participation, the desirable feature that not all
clients need to participate to every round of the training process. To reduce
the communication load and therefore accelerate distributed gradient descent,
two strategies are popular: 1) communicate less frequently; that is, perform
several iterations of local computations between the communication rounds; and
2) communicate compressed information instead of full-dimensional vectors. We
propose TAMUNA, the first algorithm for distributed optimization and federated
learning, which harnesses these two strategies jointly and allows for partial
participation. TAMUNA converges linearly to an exact solution in the strongly
convex setting, with a doubly accelerated rate: it provably benefits from the
two acceleration mechanisms provided by local training and compression, namely
a better dependency on the condition number of the functions and on the model
dimension, respectively.
- Abstract(参考訳): 連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
ローカル計算と遠隔サーバとの通信を交互に行う。
通信は遅くてコストがかかる可能性があるが、この設定の主なボトルネックは通信だ。
コミュニケーション効率に加えて、ロバストなアルゴリズムでは、トレーニングプロセス毎にすべてのクライアントが参加する必要のない、部分的な参加を可能にする必要がある。
通信負荷を低減し、分散勾配降下を加速するために、2つの戦略が人気がある。
1) 通信頻度が低くなること,すなわち,通信ラウンド間の局所計算を複数回行うこと,
2) 全次元ベクトルの代わりに圧縮情報を伝達する。
我々は,これら2つの戦略を共同で活用し,部分的参加を可能にする,分散最適化と連合学習のための最初のアルゴリズムである tamuna を提案する。
TAMUNAは、局所的なトレーニングと圧縮によって提供される2つの加速度メカニズム、すなわち関数の条件数とモデル次元にそれぞれよりよく依存することの恩恵を受ける。
関連論文リスト
- LoCoDL: Communication-Efficient Distributed Learning with Local Training
and Compression [8.37672888329615]
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
論文 参考訳(メタデータ) (2024-03-07T09:22:50Z) - Optimal Data Splitting in Distributed Optimization for Machine Learning [85.99744701008802]
本研究は,サーバとローカルマシン間の分散データの最適比に着目し,通信コストとローカル計算のコストについて検討する。
ネットワークの実行時間は、一様分布と最適分布で比較される。
提案手法の優れた理論的性能を実験的に検証した。
論文 参考訳(メタデータ) (2024-01-15T16:30:12Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - Explicit Personalization and Local Training: Double Communication
Acceleration in Federated Learning [7.691755449724637]
通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。
そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
論文 参考訳(メタデータ) (2023-05-22T15:58:01Z) - Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication [7.691755449724637]
分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
論文 参考訳(メタデータ) (2022-10-24T14:13:54Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z) - FedChain: Chained Algorithms for Near-Optimal Communication Cost in
Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。
本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文 参考訳(メタデータ) (2021-08-16T02:57:06Z) - Communication-Efficient Decentralized Learning with Sparsification and
Adaptive Peer Selection [13.963329236804586]
本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。
各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
論文 参考訳(メタデータ) (2020-02-22T12:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。