論文の概要: FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging

• arxiv url: http://arxiv.org/abs/2302.06103v1
• Date: Mon, 13 Feb 2023 05:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 16:34:03.057297
• Title: FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging
• Title（参考訳）: FedDA: Restarted Dual Averagingによるローカル適応型グラディエントメソッドの高速フレームワーク
• Authors: Junyi Li, Feihu Huang, Heng Huang
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
• 参考スコア（独自算出の注目度）: 104.41634756395545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging learning paradigm to tackle massively distributed data. In Federated Learning, a set of clients jointly perform a machine learning task under the coordination of a server. The FedAvg algorithm is one of the most widely used methods to solve Federated Learning problems. In FedAvg, the learning rate is a constant rather than changing adaptively. The adaptive gradient methods show superior performance over the constant learning rate schedule; however, there is still no general framework to incorporate adaptive gradient methods into the federated setting. In this paper, we propose \textbf{FedDA}, a novel framework for local adaptive gradient methods. The framework adopts a restarted dual averaging technique and is flexible with various gradient estimation methods and adaptive learning rate formulations. In particular, we analyze \textbf{FedDA-MVR}, an instantiation of our framework, and show that it achieves gradient complexity $\tilde{O}(\epsilon^{-1.5})$ and communication complexity $\tilde{O}(\epsilon^{-1})$ for finding a stationary point $\epsilon$. This matches the best known rate for first-order FL algorithms and \textbf{FedDA-MVR} is the first adaptive FL algorithm that achieves this rate. We also perform extensive numerical experiments to verify the efficacy of our method.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は,大規模分散データを扱うための新たな学習パラダイムである。 連合学習において、クライアントのセットは、サーバの調整の下で機械学習タスクを共同で実行する。 FedAvgアルゴリズムは、フェデレートラーニング問題を解決する最も広く使われている手法の1つである。 FedAvgでは、学習率は適応的に変化するのではなく、一定である。 適応勾配法は一定の学習率のスケジュールよりも優れた性能を示すが、適応勾配法をフェデレーション設定に組み込む一般的な枠組みはいまだ存在しない。 本稿では,局所適応勾配法のための新しい枠組みである \textbf{fedda} を提案する。 このフレームワークは再起動された2つの平均化手法を採用し、様々な勾配推定法と適応学習率の定式化で柔軟である。 特に、我々のフレームワークのインスタンス化である \textbf{fedda-mvr} を分析し、定常点 $\epsilon$ を見つけるために、勾配複雑性 $\tilde{o}(\epsilon^{-1.5})$ と通信複雑性 $\tilde{o}(\epsilon^{-1})$ を達成することを示した。 これは1次FLアルゴリズムの最もよく知られたレートと一致し、 \textbf{FedDA-MVR} はこのレートを達成する最初の適応FLアルゴリズムである。 また,本手法の有効性を検証するため,広範な数値実験を行った。

関連論文リスト

• Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
  グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。 第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。 第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
  論文  参考訳（メタデータ） (2024-08-30T09:35:36Z)
• Fed-Sophia: A Communication-Efficient Second-Order Federated Learning Algorithm [28.505671833986067]
  フェデレーション学習(Federated Learning)は、複数のデバイスが、ローカル更新のみを共有することで、パラメータサーバの助けを借りて協調的に学習する、機械学習アプローチである。 この領域では勾配に基づく最適化手法が広く採用されているが、二階法が示す曲率情報は収束のガイドと高速化に不可欠である。 本稿では,フェデレートされた大規模モデルにおける曲率情報の導入を可能にする,スケーラブルな2次法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T09:57:30Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Preconditioned Federated Learning [7.7269332266153326]
  Federated Learning(FL)は、コミュニケーションの効率的かつプライバシ保護の方法でモデルトレーニングを可能にする分散機械学習アプローチである。 FedAvgは、現代の一階適応最適化と比較してアルゴリズム適応性を欠いていると考えられている。 局所適応性(PreFed)とサーバ側適応性(PreFedOp)の2つのフレームワークに基づく通信効率の高い新しいFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-20T14:58:47Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach [11.986523531539165]
  フェデレーテッド・ラーニング(FL)は、地理的に分散したデータを用いて機械学習モデルをトレーニングするための新興技術である。 勾配スペーシフィケーション(GS)を適用することができ、完全な勾配の代わりに、勾配の重要な要素の小さなサブセットが通信される。 本稿では,近距離通信とトレードオフを自動的に判定する新しいオンライン学習定式化とアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-14T13:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。