論文の概要: Federated Learning with Nesterov Accelerated Gradient Momentum Method

• arxiv url: http://arxiv.org/abs/2009.08716v1
• Date: Fri, 18 Sep 2020 09:38:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 02:41:11.422933
• Title: Federated Learning with Nesterov Accelerated Gradient Momentum Method
• Title（参考訳）: Nesterov Accelerated Gradient Momentum Method によるフェデレーション学習
• Authors: Zhengjie Yang, Wei Bao, Dong Yuan, Nguyen H. Tran, and Albert Y. Zomaya
• Abstract要約: Federated Learning(FL)は、複数のワーカーが分散データセットに基づいてグローバルモデルをトレーニングできる、迅速な開発技術である。 Nesterov Accelerated Gradient (NAG) が集中トレーニング環境においてより有利であることはよく知られている。 本研究では,NAGに基づくFLのバージョンに着目し,詳細な収束解析を行う。
• 参考スコア（独自算出の注目度）: 47.49442006239034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a fast-developing technique that allows multiple workers to train a global model based on a distributed dataset. Conventional FL employs gradient descent algorithm, which may not be efficient enough. It is well known that Nesterov Accelerated Gradient (NAG) is more advantageous in centralized training environment, but it is not clear how to quantify the benefits of NAG in FL so far. In this work, we focus on a version of FL based on NAG (FedNAG) and provide a detailed convergence analysis. The result is compared with conventional FL based on gradient descent. One interesting conclusion is that as long as the learning step size is sufficiently small, FedNAG outperforms FedAvg. Extensive experiments based on real-world datasets are conducted, verifying our conclusions and confirming the better convergence performance of FedNAG.
• Abstract（参考訳）: Federated Learning(FL)は、複数のワーカーが分散データセットに基づいてグローバルモデルをトレーニングできる、迅速な開発技術である。 従来のFLは勾配降下アルゴリズムを採用しており、効率は良くない。 Nesterov Accelerated Gradient (NAG) は集中トレーニング環境においてより有利であることが知られているが、これまでのFLにおけるNAGのメリットを定量化する方法は明らかではない。 本研究では,NAG(FedNAG)に基づくFLのバージョンに着目し,詳細な収束解析を行う。 その結果,勾配降下に基づく従来のFLと比較した。 興味深い結論は、学習ステップのサイズが十分に小さい限り、FedNAGはFedAvgより優れています。 実世界のデータセットに基づく広範な実験を行い,結果の検証を行い,feednagの収束性能の検証を行った。

関連論文リスト

• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
  フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。 最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
  論文  参考訳（メタデータ） (2023-01-08T05:24:12Z)
• ISFL: Federated Learning for Non-i.i.d. Data with Local Importance Sampling [17.29669920752378]
  理論的保証のある明示的な枠組みであるISFLを提案する。 我々はISFLの収束定理を導出し、局所的な重要度サンプリングの効果を含む。 我々は、IS重みを計算し、ISFLアルゴリズムを開発するために、水充填法を用いる。
  論文  参考訳（メタデータ） (2022-10-05T09:43:58Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
  Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。 本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
  論文  参考訳（メタデータ） (2021-08-20T12:08:44Z)
• FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
  本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。 理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
  論文  参考訳（メタデータ） (2021-05-11T13:05:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。