論文の概要: On Principled Local Optimization Methods for Federated Learning

• arxiv url: http://arxiv.org/abs/2401.13216v1
• Date: Wed, 24 Jan 2024 03:57:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 15:29:45.871879
• Title: On Principled Local Optimization Methods for Federated Learning
• Title（参考訳）: フェデレーション学習のための原理的局所最適化法について
• Authors: Honglin Yuan
• Abstract要約: 論文は、以下の3つの方向において、局所的手法の理論的基礎を前進させることを目的としている。 まず、フェデレートラーニングで最も人気のあるアルゴリズムであるFedAvgのシャープバウンドを確立する。 次に,FedAc(Federated Accelerated Descent)を提案する。
• 参考スコア（独自算出の注目度）: 2.628859872479184
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated Learning (FL), a distributed learning paradigm that scales on-device learning collaboratively, has emerged as a promising approach for decentralized AI applications. Local optimization methods such as Federated Averaging (FedAvg) are the most prominent methods for FL applications. Despite their simplicity and popularity, the theoretical understanding of local optimization methods is far from clear. This dissertation aims to advance the theoretical foundation of local methods in the following three directions. First, we establish sharp bounds for FedAvg, the most popular algorithm in Federated Learning. We demonstrate how FedAvg may suffer from a notion we call iterate bias, and how an additional third-order smoothness assumption may mitigate this effect and lead to better convergence rates. We explain this phenomenon from a Stochastic Differential Equation (SDE) perspective. Second, we propose Federated Accelerated Stochastic Gradient Descent (FedAc), the first principled acceleration of FedAvg, which provably improves the convergence rate and communication efficiency. Our technique uses on a potential-based perturbed iterate analysis, a novel stability analysis of generalized accelerated SGD, and a strategic tradeoff between acceleration and stability. Third, we study the Federated Composite Optimization problem, which extends the classic smooth setting by incorporating a shared non-smooth regularizer. We show that direct extensions of FedAvg may suffer from the "curse of primal averaging," resulting in slow convergence. As a solution, we propose a new primal-dual algorithm, Federated Dual Averaging, which overcomes the curse of primal averaging by employing a novel inter-client dual averaging procedure.
• Abstract（参考訳）: デバイス上での学習を協調的にスケールする分散学習パラダイムであるfederated learning(fl)が、分散aiアプリケーションにとって有望なアプローチとして登場した。 Federated Averaging (FedAvg) のような局所最適化手法はFLアプリケーションの最も顕著な手法である。 その単純さと人気にもかかわらず、局所最適化法の理論的理解は明確ではない。 この論文は、局所的な手法の理論的な基礎を次の3つの方向に進めることを目的としている。 まず,federated learningで最もポピュラーなアルゴリズムであるfedavgのシャープ境界を確立する。 我々は、FedAvgが繰り返しバイアスと呼ばれる概念にどのように苦しむか、さらに3階の滑らかさの仮定がこの効果を緩和し、より良い収束率をもたらすかを実証する。 我々はこの現象を確率微分方程式(SDE)の観点から説明する。 次に、FedAvgの第一原理加速度であるFedAc(Federated Accelerated Stochastic Gradient Descent)を提案する。 本手法は, ポテンシャルに基づく摂動イテレート解析, 一般化加速sgdの新しい安定性解析, 加速度と安定性の戦略的トレードオフを用いている。 第3に,共有非平滑正規化器を組み込むことにより,古典的なスムーズな設定を拡張できるフェデレーション複合最適化問題について検討する。 我々は,FedAvgの直接拡張が「原始平均化の帰結」に悩まされ,収束が遅くなることを示した。 そこで本研究では,新たな2次平均化手法を用いて,主元平均化の呪いを克服するアルゴリズムであるFederated Dual Averagingを提案する。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Preconditioned Federated Learning [7.7269332266153326]
  Federated Learning(FL)は、コミュニケーションの効率的かつプライバシ保護の方法でモデルトレーニングを可能にする分散機械学習アプローチである。 FedAvgは、現代の一階適応最適化と比較してアルゴリズム適応性を欠いていると考えられている。 局所適応性(PreFed)とサーバ側適応性(PreFedOp)の2つのフレームワークに基づく通信効率の高い新しいFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-20T14:58:47Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。