論文の概要: Faster Non-Convex Federated Learning via Global and Local Momentum
- arxiv url: http://arxiv.org/abs/2012.04061v3
- Date: Fri, 19 Feb 2021 22:57:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 05:58:52.382409
- Title: Faster Non-Convex Federated Learning via Global and Local Momentum
- Title（参考訳）: グローバルモメンタムとローカルモメンタムによる非凸フェデレーション学習の高速化
- Authors: Rudrajit Das, Anish Acharya, Abolfazl Hashemi, Sujay Sanghavi,
Inderjit S. Dhillon, Ufuk Topcu
- Abstract要約: textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
- 参考スコア（独自算出の注目度）: 57.52663209739171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose \texttt{FedGLOMO}, the first (first-order) FL
algorithm that achieves the optimal iteration complexity (i.e matching the
known lower bound) on smooth non-convex objectives -- without using clients'
full gradient in each round. Our key algorithmic idea that enables attaining
this optimal complexity is applying judicious momentum terms that promote
variance reduction in both the local updates at the clients, and the global
update at the server. Our algorithm is also provably optimal even with
compressed communication between the clients and the server, which is an
important consideration in the practical deployment of FL algorithms. Our
experiments illustrate the intrinsic variance reduction effect of
\texttt{FedGLOMO} which implicitly suppresses client-drift in heterogeneous
data distribution settings and promotes communication-efficiency. As a prequel
to \texttt{FedGLOMO}, we propose \texttt{FedLOMO} which applies momentum only
in the local client updates. We establish that \texttt{FedLOMO} enjoys improved
convergence rates under common non-convex settings compared to prior work, and
with fewer assumptions.
- Abstract（参考訳）: 本稿では,各ラウンドにおいてクライアントの完全な勾配を使わずに,スムーズな非凸対象に対する最適反復複雑性(既知の下界とのマッチング)を実現する最初の(一階)FLアルゴリズムである‘texttt{FedGLOMO} を提案する。
この最適な複雑さを実現するための重要なアルゴリズムのアイデアは、クライアントのローカルアップデートとサーバのグローバルアップデートの両方の分散低減を促進する、公平なモーメント項を適用することです。
また,このアルゴリズムは,クライアントとサーバ間の圧縮通信においても最適であり,flアルゴリズムの実用化において重要な考慮事項である。
実験では,不均一なデータ配信環境におけるクライアントのドリフトを暗黙的に抑制し,通信効率の向上を図った。
我々は, \texttt{fedglomo} の前列として,ローカルクライアント更新にのみモーメントを適用する \texttt{fedlomo} を提案する。
我々は,従来の作業よりもコンベックスでない共通条件下での収束率の向上を期待でき,仮定も少ないことを確認した。
関連論文リスト
- Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳（メタデータ） (2023-02-21T03:55:29Z) - Federated Minimax Optimization with Client Heterogeneity [11.558008138030845]
ミニマックス計算は、GANのような先進的な近代的応用に注目が集まっている。
そこで我々は,ローカルSGDAのような設定や既存手法を前提とした汎用のミニマックスフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-08T18:33:55Z) - DP-NormFedAvg: Normalizing Client Updates for Privacy-Preserving
Federated Learning [48.064786028195506]
我々は,クライアントに対して,大局的な情報の観点から,テキスト単位のみを定量化したバージョンを送信させることを提案する。
また、単位ノルムの新しい微分プライベート量子化機構であるQTDLを導入する。
論文 参考訳（メタデータ） (2021-06-13T21:23:46Z) - Efficient Algorithms for Federated Saddle Point Optimization [32.060759921090856]
我々は,通信制約が主なボトルネックとなるフェデレーション設定において,凸凹型ミニマックス問題を考える。
我々のゴールは、任意の異種性の下でMinibatch Mirror-prox性能を回復しながら、クライアントの類似性の利点を活用できるアルゴリズムを設計することである。
論文 参考訳（メタデータ） (2021-02-12T02:55:36Z) - Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning [102.26119328920547]
フェデレートラーニング(FL)は、異なるクライアントにわたるデータの均一性のため、最適化の難しい設定である。
本稿では,クライアントのドリフトを緩和し,任意の集中最適化アルゴリズムを適用するアルゴリズムフレームワークであるMimeを提案する。
論文 参考訳（メタデータ） (2020-08-08T21:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。