論文の概要: Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients

• arxiv url: http://arxiv.org/abs/2402.11198v1
• Date: Sat, 17 Feb 2024 05:22:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:51:28.699869
• Title: Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
• Title（参考訳）: 不均一クライアントによる非同期フェデレーション学習における線形高速化の実現
• Authors: Xiaolu Wang, Zijian Li, Shi Jin, Jun Zhang
• Abstract要約: フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
• 参考スコア（独自算出の注目度）: 30.135431295658343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging distributed training paradigm that aims to learn a common global model without exchanging or transferring the data that are stored locally at different clients. The Federated Averaging (FedAvg)-based algorithms have gained substantial popularity in FL to reduce the communication overhead, where each client conducts multiple localized iterations before communicating with a central server. In this paper, we focus on FL where the clients have diverse computation and/or communication capabilities. Under this circumstance, FedAvg can be less efficient since it requires all clients that participate in the global aggregation in a round to initiate iterations from the latest global model, and thus the synchronization among fast clients and straggler clients can severely slow down the overall training process. To address this issue, we propose an efficient asynchronous federated learning (AFL) framework called Delayed Federated Averaging (DeFedAvg). In DeFedAvg, the clients are allowed to perform local training with different stale global models at their own paces. Theoretical analyses demonstrate that DeFedAvg achieves asymptotic convergence rates that are on par with the results of FedAvg for solving nonconvex problems. More importantly, DeFedAvg is the first AFL algorithm that provably achieves the desirable linear speedup property, which indicates its high scalability. Additionally, we carry out extensive numerical experiments using real datasets to validate the efficiency and scalability of our approach when training deep neural networks.
• Abstract（参考訳）: Federated Learning(FL)は、異なるクライアントにローカルに保存されるデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的とした、新興の分散トレーニングパラダイムである。 Federated Averaging (FedAvg)ベースのアルゴリズムは、各クライアントが中央サーバと通信する前に複数のローカライズされたイテレーションを実行するという通信オーバーヘッドを減らすために、FLでかなりの人気を得ている。 本稿では,クライアントが多様な計算能力や通信能力を持つFLに焦点を当てる。 この状況下では、最新のグローバルモデルからイテレーションを開始するために、グローバルアグリゲーションに参加するすべてのクライアントが必要であるため、fedavgは効率が低下する可能性がある。 この問題に対処するため,DeFedAvg(Delayed Federated Averaging)と呼ばれる非同期フェデレーション学習(AFL)フレームワークを提案する。 DeFedAvgでは、クライアントは異なる古いグローバルモデルで独自のペースでローカルトレーニングを実行することができる。 理論的解析により、DeFedAvgは非凸問題を解くためのFedAvgの結果と同等の漸近収束率を達成することを示した。 より重要なことに、defedavgは、高スケーラビリティを示す、望ましい線形スピードアップ特性を実現する最初のaflアルゴリズムである。 さらに,深層ニューラルネットワークの学習におけるアプローチの効率と拡張性を検証するために,実データセットを用いた広範囲な数値実験を行った。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
  フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。 FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。 FLの主な課題の1つは、通信オーバーヘッドである。 本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-05T22:09:21Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability [46.85205907718874]
  フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。 本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。 我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。 我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
  論文  参考訳（メタデータ） (2020-02-18T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。