Fugu-MT 論文翻訳(概要): SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model Communication

論文の概要: SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model Communication

arxiv url: http://arxiv.org/abs/2210.14026v1
Date: Tue, 25 Oct 2022 14:01:21 GMT
ステータス: 処理完了
システム内更新日: 2022-10-26 16:17:06.674238
Title: SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model Communication
Title（参考訳）: SWIFT: ウェイトフリーモデル通信による高速分散フェデレーション学習
Authors: Marco Bornstein, Tahseen Rabbani, Evan Wang, Amrit Singh Bedi, and Furong Huang
Abstract要約: SWIFTはその待ち時間構造のため,実行時間に対してより高速に収束することを示す。 SWIFTは、画像分類、ID、非IIDデータ設定の損失レベルを生成し、既存のSOTAアルゴリズムよりも50%高速である。
参考スコア（独自算出の注目度）: 11.763368822546468
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The decentralized Federated Learning (FL) setting avoids the role of a potentially unreliable or untrustworthy central host by utilizing groups of clients to collaboratively train a model via localized training and model/gradient sharing. Most existing decentralized FL algorithms require synchronization of client models where the speed of synchronization depends upon the slowest client. In this work, we propose SWIFT: a novel wait-free decentralized FL algorithm that allows clients to conduct training at their own speed. Theoretically, we prove that SWIFT matches the gold-standard iteration convergence rate $\mathcal{O}(1/\sqrt{T})$ of parallel stochastic gradient descent for convex and non-convex smooth optimization (total iterations $T$). Furthermore, we provide theoretical results for IID and non-IID settings without any bounded-delay assumption for slow clients which is required by other asynchronous decentralized FL algorithms. Although SWIFT achieves the same iteration convergence rate with respect to $T$ as other state-of-the-art (SOTA) parallel stochastic algorithms, it converges faster with respect to run-time due to its wait-free structure. Our experimental results demonstrate that SWIFT's run-time is reduced due to a large reduction in communication time per epoch, which falls by an order of magnitude compared to synchronous counterparts. Furthermore, SWIFT produces loss levels for image classification, over IID and non-IID data settings, upwards of 50% faster than existing SOTA algorithms.
Abstract（参考訳）: 分散型フェデレートラーニング(FL)設定は、クライアントのグループを活用して、局所的なトレーニングとモデル/段階的な共有を通じてモデルを協調的にトレーニングすることで、潜在的に信頼できない、あるいは信頼できない中央ホストの役割を回避する。ほとんどの既存の分散FLアルゴリズムは、同期の速度が最も遅いクライアントに依存するクライアントモデルの同期を必要とする。本研究では,クライアントが自身の速度でトレーニングを行うことのできる,待ち時間のない分散FLアルゴリズムであるSWIFTを提案する。理論的には、SWIFT は金標準反復収束率 $\mathcal{O}(1/\sqrt{T})$ の凸および非凸スムーズな最適化(全反復$T$)の並列確率勾配勾配と一致することを証明している。さらに、他の非同期分散FLアルゴリズムで要求される遅いクライアントに対して、IIDおよび非IID設定に対して、バウンダリ遅延仮定なしで理論的結果を提供する。 SWIFTは、他の最先端(SOTA)並列確率アルゴリズムと同様に、$T$の反復収束率を達成するが、待ち時間構造のため、実行時間に関してより高速に収束する。実験の結果,1時間当たりの通信時間の大幅な短縮によりスウィフトの実行時間が短縮され,同期処理に比べて桁違いに減少することが判明した。さらに、SWIFTは、既存のSOTAアルゴリズムよりも50%高速な画像分類、IDおよび非IIDデータ設定の損失レベルを生成する。

関連論文リスト

Asynchronous Byzantine Federated Learning [4.6792910030704515]
フェデレートラーニング(FL)は、地理的に分散した一連のクライアントが、サーバを通じてモデルを集合的に訓練することを可能にする。私たちのソリューションは、最初のビザンチン耐性および非同期FLアルゴリズムの1つである。我々は、画像とテキストの両方のデータセットにおける最先端のアルゴリズムと比較して、ソリューションの性能を比較した。
論文参考訳（メタデータ） (2024-06-03T15:29:38Z)
FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
論文参考訳（メタデータ） (2024-05-11T11:55:26Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout [22.584080337157168]
非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
論文参考訳（メタデータ） (2022-10-28T13:00:29Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文参考訳（メタデータ） (2022-04-26T16:37:29Z)
Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
論文参考訳（メタデータ） (2021-02-12T02:27:44Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。