論文の概要: Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication
- arxiv url: http://arxiv.org/abs/2210.13277v1
- Date: Mon, 24 Oct 2022 14:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 22:20:08.678809
- Title: Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication
- Title(参考訳): おそらく2倍に加速するフェデレーションラーニング: ローカルトレーニングと圧縮コミュニケーションを組み合わせた理論上最初の成功例
- Authors: Laurent Condat, Ivan Agarsky, Peter Richt\'arik
- Abstract要約: 分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
- 参考スコア(独自算出の注目度): 7.691755449724637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the modern paradigm of federated learning, a large number of users are
involved in a global learning task, in a collaborative way. They alternate
local computations and two-way communication with a distant orchestrating
server. Communication, which can be slow and costly, is the main bottleneck in
this setting. To reduce the communication load and therefore accelerate
distributed gradient descent, two strategies are popular: 1) communicate less
frequently; that is, perform several iterations of local computations between
the communication rounds; and 2) communicate compressed information instead of
full-dimensional vectors. In this paper, we propose the first algorithm for
distributed optimization and federated learning, which harnesses these two
strategies jointly and converges linearly to an exact solution, with a doubly
accelerated rate: our algorithm benefits from the two acceleration mechanisms
provided by local training and compression, namely a better dependency on the
condition number of the functions and on the dimension of the model,
respectively.
- Abstract(参考訳): フェデレーション学習の現代的パラダイムでは、多くのユーザが協力的な方法でグローバルな学習タスクに関与しています。
ローカル計算と遠隔オーケストレーションサーバとの双方向通信を交互に行う。
通信は遅くてコストがかかる可能性があるが、この設定の主なボトルネックは通信だ。
通信負荷を低減し、分散勾配降下を加速するために、2つの戦略が人気がある。
1) 通信頻度が低くなること,すなわち,通信ラウンド間の局所計算を複数回行うこと,
2) 全次元ベクトルの代わりに圧縮情報を伝達する。
本稿では,分散最適化とフェデレート学習のための最初のアルゴリズムを提案し,これら2つの戦略を協調的に活用し,2倍の高速化率で線形に収束させる。
関連論文リスト
- LoCoDL: Communication-Efficient Distributed Learning with Local Training
and Compression [8.37672888329615]
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
論文 参考訳(メタデータ) (2024-03-07T09:22:50Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - DIGEST: Fast and Communication Efficient Decentralized Learning with
Local Updates [6.315065315737582]
広く検討されている分散学習アルゴリズムは、Gossipとランダムウォークベースの学習である。
高速で通信効率のよい非同期分散学習機構DIGESTを設計する。
我々は、ロジスティック回帰とディープニューラルネットワークResNet20のためのシングルストリームおよびマルチストリームDIGESTの性能を評価する。
論文 参考訳(メタデータ) (2023-07-14T22:58:20Z) - TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation [6.843808986792989]
連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
分散最適化とフェデレート学習のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳(メタデータ) (2023-02-20T08:37:44Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-06-30T05:29:52Z) - Distributed Methods with Compressed Communication for Solving
Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。
新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
論文 参考訳(メタデータ) (2021-10-07T10:04:32Z) - Accelerating Federated Edge Learning via Optimized Probabilistic Device
Scheduling [57.271494741212166]
本稿では,通信時間最小化問題を定式化し,解決する。
最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。
提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
論文 参考訳(メタデータ) (2021-07-24T11:39:17Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - Communication-Efficient Distributed Deep Learning: A Comprehensive
Survey [22.42450750097714]
本稿では,コミュニケーション効率のよい分散学習アルゴリズムの総合的な調査を行う。
まず,データ並列分散トレーニングアルゴリズムの分類法を提案する。
次に、これらの4次元の問題に対処する最先端の研究について検討する。
論文 参考訳(メタデータ) (2020-03-10T05:42:44Z) - Communication-Efficient Decentralized Learning with Sparsification and
Adaptive Peer Selection [13.963329236804586]
本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。
各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
論文 参考訳(メタデータ) (2020-02-22T12:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。