論文の概要: Momentum Benefits Non-IID Federated Learning Simply and Provably
- arxiv url: http://arxiv.org/abs/2306.16504v3
- Date: Tue, 5 Mar 2024 17:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:21:08.049563
- Title: Momentum Benefits Non-IID Federated Learning Simply and Provably
- Title（参考訳）: 非IIDフェデレーション学習におけるMomentumのメリット
- Authors: Ziheng Cheng, Xinmeng Huang, Pengfei Wu, Kun Yuan
- Abstract要約: フェデレートラーニングは大規模機械学習の強力なパラダイムである。
FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。
本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
- 参考スコア（独自算出の注目度）: 22.800862422479913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a powerful paradigm for large-scale machine learning,
but it faces significant challenges due to unreliable network connections, slow
communication, and substantial data heterogeneity across clients. FedAvg and
SCAFFOLD are two prominent algorithms to address these challenges. In
particular, FedAvg employs multiple local updates before communicating with a
central server, while SCAFFOLD maintains a control variable on each client to
compensate for ``client drift'' in its local updates. Various methods have been
proposed to enhance the convergence of these two algorithms, but they either
make impractical adjustments to the algorithmic structure or rely on the
assumption of bounded data heterogeneity.
This paper explores the utilization of momentum to enhance the performance of
FedAvg and SCAFFOLD. When all clients participate in the training process, we
demonstrate that incorporating momentum allows FedAvg to converge without
relying on the assumption of bounded data heterogeneity even using a constant
local learning rate. This is novel and fairly surprising as existing analyses
for FedAvg require bounded data heterogeneity even with diminishing local
learning rates. In partial client participation, we show that momentum enables
SCAFFOLD to converge provably faster without imposing any additional
assumptions. Furthermore, we use momentum to develop new variance-reduced
extensions of FedAvg and SCAFFOLD, which exhibit state-of-the-art convergence
rates. Our experimental results support all theoretical findings.
- Abstract（参考訳）: フェデレーション学習は、大規模機械学習の強力なパラダイムだが、信頼性の低いネットワーク接続、遅い通信、クライアント間のデータの不均一性など、大きな課題に直面している。
FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。
特に、FedAvgは中央サーバと通信する前に複数のローカル更新を使用するが、SCAFFOLDはローカル更新で‘client drift’を補うために各クライアントに制御変数を保持する。
これら2つのアルゴリズムの収束性を高めるために様々な方法が提案されているが、アルゴリズム構造に非現実的な調整を行うか、境界データの不均一性の仮定に依存する。
本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
すべてのクライアントがトレーニングプロセスに参加すると、momentumを組み込むことで、一定の局所学習率を使用しても、境界データの不均一性の仮定に頼らずにfedavgを収束させることができることを実証する。
FedAvgの既存の分析では、局所的な学習率の低下にもかかわらず、境界データの均一性を要求されている。
部分的な顧客参加において,momentumは,追加の仮定を課さずに足場が確実に早く収束できることを示す。
さらに,FedAvg と SCAFFOLD の新たな分散還元拡張を開発するために運動量を用いて,最先端の収束率を示す。
実験結果はすべての理論的結果を支持する。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability [23.466997173249034]
FedAPMには、(i)標準のFedAvgに対して(1)O$追加のメモリ計算で使用不能な計算を行うための新しい構造が含まれている。
非定常力学であるにもかかわらず、FedAPMは静止点にも収束することを示す。
論文 参考訳（メタデータ） (2024-09-26T00:38:18Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Federated Learning under Heterogeneous and Correlated Client
Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。
本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。
実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文 参考訳（メタデータ） (2023-01-11T18:38:48Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。
このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。
我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文 参考訳（メタデータ） (2022-01-26T12:33:23Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。