論文の概要: Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup

• arxiv url: http://arxiv.org/abs/2308.00522v1
• Date: Sun, 30 Jul 2023 14:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 14:13:49.157925
• Title: Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup
• Title（参考訳）: リニア高速化による局所適応修正最適化による効果的なフェデレーション学習
• Authors: Yan Sun, Li Shen, Hao Sun, Liang Ding and Dacheng Tao
• Abstract要約: そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
• 参考スコア（独自算出の注目度）: 90.26270347459915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive optimization has achieved notable success for distributed learning while extending adaptive optimizer to federated Learning (FL) suffers from severe inefficiency, including (i) rugged convergence due to inaccurate gradient estimation in global adaptive optimizer; (ii) client drifts exacerbated by local over-fitting with the local adaptive optimizer. In this work, we propose a novel momentum-based algorithm via utilizing the global gradient descent and locally adaptive amended optimizer to tackle these difficulties. Specifically, we incorporate a locally amended technique to the adaptive optimizer, named Federated Local ADaptive Amended optimizer (\textit{FedLADA}), which estimates the global average offset in the previous communication round and corrects the local offset through a momentum-like term to further improve the empirical training speed and mitigate the heterogeneous over-fitting. Theoretically, we establish the convergence rate of \textit{FedLADA} with a linear speedup property on the non-convex case under the partial participation settings. Moreover, we conduct extensive experiments on the real-world dataset to demonstrate the efficacy of our proposed \textit{FedLADA}, which could greatly reduce the communication rounds and achieves higher accuracy than several baselines.
• Abstract（参考訳）: アダプティブ最適化は分散学習において顕著な成功を収め、適応オプティマイザを連合学習(fl)に拡張した。 (i)グローバル適応最適化器における不正確な勾配推定による頑強な収束 (ii)局所適応最適化器による局所オーバーフィッティングによりクライアントドリフトが悪化する。 本研究では,大域的勾配降下と局所適応型修正オプティマイザを用いた運動量に基づく新しいアルゴリズムを提案する。 具体的には,適応オプティマイザ(federated local adaptive amended optimizer (\textit{fedlada}) に局所修正手法を取り入れ,前回の通信ラウンドにおけるグローバル平均オフセットを推定し,モメンタライクな用語で局所オフセットを補正することで,経験的トレーニング速度をさらに向上し,不均質なオーバーフィッティングを緩和する。 理論的には、部分的参加条件下で、非凸ケース上の線形スピードアップ特性を持つ \textit{fedlada} の収束率を確立する。 さらに,提案する‘textit{FedLADA}’の有効性を示すために,実世界のデータセットに対する広範な実験を行い,通信ラウンドを大幅に削減し,複数のベースラインよりも高い精度を実現する。

関連論文リスト

• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Federated Zeroth-Order Optimization using Trajectory-Informed Surrogate Gradients [31.674600866528788]
  トラジェクトリインフォームド・サロゲート勾配(FZooS)アルゴリズムを導入し,通信効率の高いZOOを提案する。 我々のFZooSは、フェデレートされたブラックボックス対向攻撃やフェデレーションされた非微分可能なメートル法最適化といった実世界の実験によって支持される既存のアプローチよりも理論的に改善されている。
  論文  参考訳（メタデータ） (2023-08-08T06:26:54Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
  Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。 本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
  論文  参考訳（メタデータ） (2021-08-20T12:08:44Z)
• Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
  フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。 局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。 本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T07:36:59Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。