論文の概要: Faster Federated Learning with Decaying Number of Local SGD Steps
- arxiv url: http://arxiv.org/abs/2305.09628v1
- Date: Tue, 16 May 2023 17:36:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 13:40:09.791253
- Title: Faster Federated Learning with Decaying Number of Local SGD Steps
- Title（参考訳）: 局所的なSGDステップの削減による高速なフェデレーション学習
- Authors: Jed Mills, Jia Hu, Geyong Min
- Abstract要約: InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。
本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
- 参考スコア（独自算出の注目度）: 23.447883712141422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning (FL) client devices connected over the internet
collaboratively train a machine learning model without sharing their private
data with a central server or with other clients. The seminal Federated
Averaging (FedAvg) algorithm trains a single global model by performing rounds
of local training on clients followed by model averaging. FedAvg can improve
the communication-efficiency of training by performing more steps of Stochastic
Gradient Descent (SGD) on clients in each round. However, client data in
real-world FL is highly heterogeneous, which has been extensively shown to slow
model convergence and harm final performance when $K > 1$ steps of SGD are
performed on clients per round. In this work we propose decaying $K$ as
training progresses, which can jointly improve the final performance of the FL
model whilst reducing the wall-clock time and the total computational cost of
training compared to using a fixed $K$. We analyse the convergence of FedAvg
with decaying $K$ for strongly-convex objectives, providing novel insights into
the convergence properties, and derive three theoretically-motivated decay
schedules for $K$. We then perform thorough experiments on four benchmark FL
datasets (FEMNIST, CIFAR100, Sentiment140, Shakespeare) to show the real-world
benefit of our approaches in terms of real-world convergence time,
computational cost, and generalisation performance.
- Abstract（参考訳）: インターネット経由で接続された連合学習(fl)クライアントデバイスでは、プライベートデータを中央サーバや他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。
seminal federated averaging (fedavg)アルゴリズムは、クライアント上でローカルトレーニングのラウンドを実行し、モデル平均化を実行することによって、単一のグローバルモデルをトレーニングする。
FedAvgは、各ラウンドでSGD(Stochastic Gradient Descent)のより多くのステップを実行することで、トレーニングのコミュニケーション効率を向上させることができる。
しかし,実世界のFLにおけるクライアントデータは多種多様であり,SGDの1ラウンドあたりのクライアントに対して,K > 1$のステップでSGDのモデル収束を遅くし,最終性能を損なうことが広く示されている。
本研究は, FLモデルの最終性能を, 固定された$K$に比べて, 壁面時間と総計算コストを低減しつつ, 共に向上させることができる, トレーニングが進むにつれて, 劣化する$K$を提案する。
我々は,強い凸目標に対して,k$の崩壊を伴うfedavgの収束を解析し,収束特性に関する新たな知見を与え,理論的に動機づけられた3つの崩壊スケジュールをk$で導出する。
次に,4つのベンチマークFLデータセット(FEMNIST, CIFAR100, Sentiment140, Shakespeare)の徹底的な実験を行い,実世界の収束時間,計算コスト,一般化性能の観点から,我々のアプローチの現実的なメリットを示す。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Federated Learning under Heterogeneous and Correlated Client
Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。
本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。
実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文 参考訳（メタデータ） (2023-01-11T18:38:48Z) - Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。
Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。
AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
論文 参考訳（メタデータ） (2022-10-12T12:59:18Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Distributed Non-Convex Optimization with Sublinear Speedup under
Intermittent Client Availability [46.85205907718874]
フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。
本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。
我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。
我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
論文 参考訳（メタデータ） (2020-02-18T06:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。