論文の概要: SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model
Communication
- arxiv url: http://arxiv.org/abs/2210.14026v1
- Date: Tue, 25 Oct 2022 14:01:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 16:17:06.674238
- Title: SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model
Communication
- Title(参考訳): SWIFT: ウェイトフリーモデル通信による高速分散フェデレーション学習
- Authors: Marco Bornstein, Tahseen Rabbani, Evan Wang, Amrit Singh Bedi, and
Furong Huang
- Abstract要約: SWIFTはその待ち時間構造のため,実行時間に対してより高速に収束することを示す。
SWIFTは、画像分類、ID、非IIDデータ設定の損失レベルを生成し、既存のSOTAアルゴリズムよりも50%高速である。
- 参考スコア(独自算出の注目度): 11.763368822546468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The decentralized Federated Learning (FL) setting avoids the role of a
potentially unreliable or untrustworthy central host by utilizing groups of
clients to collaboratively train a model via localized training and
model/gradient sharing. Most existing decentralized FL algorithms require
synchronization of client models where the speed of synchronization depends
upon the slowest client. In this work, we propose SWIFT: a novel wait-free
decentralized FL algorithm that allows clients to conduct training at their own
speed. Theoretically, we prove that SWIFT matches the gold-standard iteration
convergence rate $\mathcal{O}(1/\sqrt{T})$ of parallel stochastic gradient
descent for convex and non-convex smooth optimization (total iterations $T$).
Furthermore, we provide theoretical results for IID and non-IID settings
without any bounded-delay assumption for slow clients which is required by
other asynchronous decentralized FL algorithms. Although SWIFT achieves the
same iteration convergence rate with respect to $T$ as other state-of-the-art
(SOTA) parallel stochastic algorithms, it converges faster with respect to
run-time due to its wait-free structure. Our experimental results demonstrate
that SWIFT's run-time is reduced due to a large reduction in communication time
per epoch, which falls by an order of magnitude compared to synchronous
counterparts. Furthermore, SWIFT produces loss levels for image classification,
over IID and non-IID data settings, upwards of 50% faster than existing SOTA
algorithms.
- Abstract(参考訳): 分散型フェデレートラーニング(FL)設定は、クライアントのグループを活用して、局所的なトレーニングとモデル/段階的な共有を通じてモデルを協調的にトレーニングすることで、潜在的に信頼できない、あるいは信頼できない中央ホストの役割を回避する。
ほとんどの既存の分散FLアルゴリズムは、同期の速度が最も遅いクライアントに依存するクライアントモデルの同期を必要とする。
本研究では,クライアントが自身の速度でトレーニングを行うことのできる,待ち時間のない分散FLアルゴリズムであるSWIFTを提案する。
理論的には、SWIFT は金標準反復収束率 $\mathcal{O}(1/\sqrt{T})$ の凸および非凸スムーズな最適化(全反復$T$)の並列確率勾配勾配と一致することを証明している。
さらに、他の非同期分散FLアルゴリズムで要求される遅いクライアントに対して、IIDおよび非IID設定に対して、バウンダリ遅延仮定なしで理論的結果を提供する。
SWIFTは、他の最先端(SOTA)並列確率アルゴリズムと同様に、$T$の反復収束率を達成するが、待ち時間構造のため、実行時間に関してより高速に収束する。
実験の結果,1時間当たりの通信時間の大幅な短縮によりスウィフトの実行時間が短縮され,同期処理に比べて桁違いに減少することが判明した。
さらに、SWIFTは、既存のSOTAアルゴリズムよりも50%高速な画像分類、IDおよび非IIDデータ設定の損失レベルを生成する。
関連論文リスト
- AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳(メタデータ) (2023-12-18T05:18:17Z) - $\textbf{A}^2\textbf{CiD}^2$: Accelerating Asynchronous Communication in
Decentralized Deep Learning [0.0]
このアルゴリズムは、$textbfA2textbfCiD2$という連続的な局所運動量のおかげで動作する。
我々の理論解析は、以前の非同期分散ベースラインと比較して加速速度を証明している。
我々は、最大64の非同期ワーカーを使用して、ImageNetデータセットに一貫した改善を示す。
論文 参考訳(メタデータ) (2023-06-14T06:52:07Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Efficient and Light-Weight Federated Learning via Asynchronous
Distributed Dropout [22.584080337157168]
非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。
分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。
全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
論文 参考訳(メタデータ) (2022-10-28T13:00:29Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳(メタデータ) (2022-09-27T02:12:43Z) - Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。
提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文 参考訳(メタデータ) (2022-04-26T16:37:29Z) - Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep
Learning [0.0]
Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。
ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
論文 参考訳(メタデータ) (2022-03-24T14:25:15Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with
Delayed Gradients [21.63719641718363]
フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。
本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
論文 参考訳(メタデータ) (2021-02-12T02:27:44Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。