論文の概要: A Unified Linear Speedup Analysis of Stochastic FedAvg and Nesterov Accelerated FedAvg

• arxiv url: http://arxiv.org/abs/2007.05690v3
• Date: Wed, 18 May 2022 17:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 13:09:30.762691
• Title: A Unified Linear Speedup Analysis of Stochastic FedAvg and Nesterov Accelerated FedAvg
• Title（参考訳）: 確率型FedAvgとNesterov加速型FedAvgの統一線形高速化解析
• Authors: Zhaonan Qu, Kaixiang Lin, Zhaojian Li, Jiayu Zhou, Zhengyuan Zhou
• Abstract要約: フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 フェデレート平均化 (FedAvg) に着目し、その収束率を統一的かつ包括的に研究する。
• 参考スコア（独自算出の注目度）: 43.15502689098102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) learns a model jointly from a set of participating devices without sharing each other's privately held data. The characteristics of non-i.i.d. data across the network, low device participation, high communication costs, and the mandate that data remain private bring challenges in understanding the convergence of FL algorithms, particularly with regards to how convergence scales with the number of participating devices. In this paper, we focus on Federated Averaging (FedAvg)--arguably the most popular and effective FL algorithm class in use today--and provide a unified and comprehensive study of its convergence rate. Although FedAvg has recently been studied by an emerging line of literature, a systematic study of how FedAvg's convergence scales with the number of participating devices in the fully heterogeneous FL setting is lacking--a crucial issue whose answer would shed light on the performance of FedAvg in large FL systems in practice. We fill this gap by providing a unified analysis that establishes convergence guarantees for FedAvg under strongly convex smooth, convex smooth problems, and overparameterized strongly convex smooth problems. We show that FedAvg enjoys linear speedup in each case, although with different convergence rates and communication efficiencies. While there have been linear speedup results from distributed optimization that assumes full participation, ours are the first to establish linear speedup for FedAvg under both statistical and system heterogeneity. For strongly convex and convex problems, we also characterize the corresponding convergence rates for the Nesterov accelerated FedAvg algorithm, which are the first linear speedup guarantees for momentum variants of FedAvg in convex settings. Empirical studies of the algorithms in various settings have supported our theoretical results.
• Abstract（参考訳）: フェデレーション学習(fl)は、相互に保持されたデータを共有せずに、一組の参加者デバイスから共同でモデルを学習する。 ネットワーク全体にわたる非i.i.d.データの特徴、低いデバイス参加、高い通信コスト、およびデータがプライベートであるという義務は、flアルゴリズムの収束を理解する上で困難をもたらす。 本稿では,federated averaging (federated averaging, fedavg) に着目し,その収束率を統一的かつ包括的に検討する。 FedAvgは近年、新たな文献によって研究されているが、FedAvgの収束が完全に均一なFL設定における参加デバイス数とどのようにスケールするかという体系的な研究は、FedAvgの大規模FLシステムにおけるパフォーマンスに光を当てる重要な問題である。 我々は,FedAvgの収束保証を,強凸滑らかで凸滑らかな問題,過パラメータ化された強凸滑らかな問題の下で確立する統一解析を提供することで,このギャップを埋める。 コンバージェンスレートと通信効率の異なるFedAvgは,それぞれのケースで線形スピードアップを楽しむことを示す。 完全参加を前提とした分散最適化による線形スピードアップの結果はあったが,fedavgの線形スピードアップを統計学的およびシステム的不均一性の両方下で確立した最初の例である。 強い凸問題と凸問題に対しては、凸設定におけるFedAvgの運動量変動に対する最初の線形高速化保証であるNesterovAccelered FedAvgアルゴリズムの収束率も特徴付ける。 様々な環境でのアルゴリズムの実証研究は、我々の理論的な結果を支持した。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Communication-Efficient Federated Learning With Data and Client Heterogeneity [22.432529149142976]
  Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。 従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
  論文  参考訳（メタデータ） (2022-06-20T22:39:39Z)
• On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond [41.082982732100696]
  我々はFedProxの収束理論とアルゴリズム安定性のレンズによるミニバッチ拡張の新しい局所的な相似性を開発する。 一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。
  論文  参考訳（メタデータ） (2022-06-10T15:35:10Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。