論文の概要: FedHyper: A Universal and Robust Learning Rate Scheduler for Federated
Learning with Hypergradient Descent
- arxiv url: http://arxiv.org/abs/2310.03156v2
- Date: Fri, 6 Oct 2023 01:54:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-09 10:23:42.574814
- Title: FedHyper: A Universal and Robust Learning Rate Scheduler for Federated
Learning with Hypergradient Descent
- Title（参考訳）: FedHyper: 過度学習を伴うフェデレーション学習のためのユニバーサルでロバストな学習率スケジューリング
- Authors: Ziyao Wang, Jianyu Wang, Ang Li
- Abstract要約: 本稿では,フェデレーション学習に特化して設計された,高次学習率適応アルゴリズムであるFedHyperを提案する。
FedHyperは、トレーニングが進むにつれて、スケジューラがグローバルとローカルの両方のレートに適応できる、普遍的な学習レートとして機能する。
我々は、FedHyperの収束率に関する包括的な理論的分析を行い、ビジョンと言語ベンチマークデータセットに関する広範な実験を行う。
- 参考スコア（独自算出の注目度）: 23.631846934438766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The theoretical landscape of federated learning (FL) undergoes rapid
evolution, but its practical application encounters a series of intricate
challenges, and hyperparameter optimization is one of these critical
challenges. Amongst the diverse adjustments in hyperparameters, the adaptation
of the learning rate emerges as a crucial component, holding the promise of
significantly enhancing the efficacy of FL systems. In response to this
critical need, this paper presents FedHyper, a novel hypergradient-based
learning rate adaptation algorithm specifically designed for FL. FedHyper
serves as a universal learning rate scheduler that can adapt both global and
local rates as the training progresses. In addition, FedHyper not only
showcases unparalleled robustness to a spectrum of initial learning rate
configurations but also significantly alleviates the necessity for laborious
empirical learning rate adjustments. We provide a comprehensive theoretical
analysis of FedHyper's convergence rate and conduct extensive experiments on
vision and language benchmark datasets. The results demonstrate that FEDHYPER
consistently converges 1.1-3x faster than FedAvg and the competing baselines
while achieving superior final accuracy. Moreover, FedHyper catalyzes a
remarkable surge in accuracy, augmenting it by up to 15% compared to FedAvg
under suboptimal initial learning rate settings.
- Abstract（参考訳）: 連邦学習(FL)の理論的な展望は急速な進化を遂げるが、その実践的応用は一連の複雑な課題に遭遇し、ハイパーパラメータ最適化はこれらの重要な課題の1つである。
ハイパーパラメータの様々な調整の中で、学習率の適応が重要な要素として現れ、flシステムの有効性を著しく向上させるという約束を保っている。
そこで本研究では,FLに特化して設計された学習率適応アルゴリズムであるFedHyperを提案する。
FedHyperは、トレーニングが進むにつれて、グローバルとローカルの両方のレートに適応できる、普遍的な学習率スケジューラとして機能する。
さらに、FedHyperは、初期学習率設定のスペクトルに例外のない堅牢性を示すだけでなく、退屈な経験的学習率調整の必要性を著しく軽減する。
我々は、FedHyperの収束率に関する包括的な理論的分析を行い、ビジョンと言語ベンチマークデータセットに関する広範な実験を行う。
その結果、FEDHYPERはFedAvgと競合するベースラインよりも1.1～3倍早く収束し、最終的な精度が向上した。
さらに、FedHyperは、最適な初期学習率設定の下でFedAvgと比較して最大15%の精度向上を実現している。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。
本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。
提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文 参考訳（メタデータ） (2024-07-25T20:02:57Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳（メタデータ） (2023-10-04T21:11:40Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-13T05:10:30Z) - FedGPO: Heterogeneity-Aware Global Parameter Optimization for Efficient
Federated Learning [11.093360539563657]
フェデレートラーニング(FL)は、機械学習トレーニングにおけるプライバシリークのリスクに対処するソリューションとして登場した。
我々は,モデル収束を保証しつつ,FLのエネルギー効率を最適化するFedGPOを提案する。
我々の実験では、FedGPOはモデル収束時間を2.4倍改善し、ベースライン設定の3.6倍のエネルギー効率を達成する。
論文 参考訳（メタデータ） (2022-11-30T01:22:57Z) - Flatter, faster: scaling momentum for optimal speedup of SGD [0.0]
ニューラルネットワークのトレーニングにおいて、勾配降下(SGD)とラベルノイズと運動量との相互作用から生じるトレーニングダイナミクスについて検討した。
運動量ハイパーパラメータ1-NISTbeta$を学習率で2/3$にスケーリングすると、一般化を犠牲にすることなく、最大で2/3$のトレーニングが加速することがわかった。
論文 参考訳（メタデータ） (2022-10-28T20:41:48Z) - Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文 参考訳（メタデータ） (2021-08-20T12:08:44Z) - FedFog: Network-Aware Optimization of Federated Learning over Wireless
Fog-Cloud Systems [40.421253127588244]
フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。
まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
論文 参考訳（メタデータ） (2021-07-04T08:03:15Z) - Critical Parameters for Scalable Distributed Learning with Large Batches
and Asynchronous Updates [67.19481956584465]
飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。
結果がタイトであることを示し、数値実験で重要な結果を示しています。
論文 参考訳（メタデータ） (2021-03-03T12:08:23Z) - Federated Learning with Nesterov Accelerated Gradient Momentum Method [47.49442006239034]
Federated Learning(FL)は、複数のワーカーが分散データセットに基づいてグローバルモデルをトレーニングできる、迅速な開発技術である。
Nesterov Accelerated Gradient (NAG) が集中トレーニング環境においてより有利であることはよく知られている。
本研究では,NAGに基づくFLのバージョンに着目し,詳細な収束解析を行う。
論文 参考訳（メタデータ） (2020-09-18T09:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。