論文の概要: A General Theory for Federated Optimization with Asynchronous and
Heterogeneous Clients Updates
- arxiv url: http://arxiv.org/abs/2206.10189v1
- Date: Tue, 21 Jun 2022 08:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 18:17:54.999322
- Title: A General Theory for Federated Optimization with Asynchronous and
Heterogeneous Clients Updates
- Title(参考訳): 非同期および異種クライアント更新によるフェデレーション最適化の一般理論
- Authors: Yann Fraboni, Richard Vidal, Laetitia Kameni, Marco Lorenzi
- Abstract要約: 我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。
私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。
我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
- 参考スコア(独自算出の注目度): 10.609815608017065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel framework to study asynchronous federated learning
optimization with delays in gradient updates. Our theoretical framework extends
the standard FedAvg aggregation scheme by introducing stochastic aggregation
weights to represent the variability of the clients update time, due for
example to heterogeneous hardware capabilities. Our formalism applies to the
general federated setting where clients have heterogeneous datasets and perform
at least one step of stochastic gradient descent (SGD). We demonstrate
convergence for such a scheme and provide sufficient conditions for the related
minimum to be the optimum of the federated problem. We show that our general
framework applies to existing optimization schemes including centralized
learning, FedAvg, asynchronous FedAvg, and FedBuff. The theory here provided
allows drawing meaningful guidelines for designing a federated learning
experiment in heterogeneous conditions. In particular, we develop in this work
FedFix, a novel extension of FedAvg enabling efficient asynchronous federated
training while preserving the convergence stability of synchronous aggregation.
We empirically demonstrate our theory on a series of experiments showing that
asynchronous FedAvg leads to fast convergence at the expense of stability, and
we finally demonstrate the improvements of FedFix over synchronous and
asynchronous FedAvg.
- Abstract(参考訳): 本稿では,勾配更新の遅延を考慮した非同期フェデレーション学習最適化手法を提案する。
我々の理論的枠組みは、例えば異種ハードウェア機能のために、クライアントの更新時間の変動を表す確率的集約重みを導入し、標準的なfedavg集約スキームを拡張している。
我々の定式化は、クライアントが不均一なデータセットを持ち、確率勾配降下(SGD)の少なくとも1ステップを実行する一般的な連邦設定に適用される。
このようなスキームの収束を実証し,関連する最小条件をフェデレーション問題の最適条件とする。
我々の一般的なフレームワークは、集中学習、FedAvg、非同期FedAvg、FedBuffといった既存の最適化手法に適用できることを示します。
この理論により、異種条件下での連合学習実験を設計するための有意義なガイドラインを作成できる。
具体的には,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
我々は、非同期fedavgが安定性を犠牲にして高速収束に繋がることを示す一連の実験で、実証実験を行い、最終的に同期および非同期fedavgに対するfedfixの改善を実証した。
関連論文リスト
- Asynchronous Federated Learning with Incentive Mechanism Based on
Contract Theory [5.502596101979607]
本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。
攻撃対象のローカルSGDよりも精度が1.35%向上した。
論文 参考訳(メタデータ) (2023-10-10T09:17:17Z) - Federated Conformal Predictors for Distributed Uncertainty
Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。
本稿では,共形予測を連邦学習環境に拡張する。
本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文 参考訳(メタデータ) (2023-05-27T19:57:27Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - AFAFed -- Protocol analysis [3.016628653955123]
これは、ストリーム指向IoTアプリケーション環境のための新しいFair Federated Adaptive Learningフレームワークである。
我々は収束特性を分析し、AFAFedの実装面に対処する。
論文 参考訳(メタデータ) (2022-06-29T22:12:08Z) - FEDNEST: Federated Bilevel, Minimax, and Compositional Optimization [53.78643974257301]
多くの現代のML問題は、ミニマックスと合成最適化を仮定したネストされた双レベルプログラミングに該当する。
我々は、一般的なネスト問題に対処するフェデレーション付き交互勾配法を提案する。
論文 参考訳(メタデータ) (2022-05-04T17:48:55Z) - Blockchain-enabled Server-less Federated Learning [5.065631761462706]
我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。
主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
論文 参考訳(メタデータ) (2021-12-15T07:41:23Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-23T18:57:08Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳(メタデータ) (2020-07-15T05:01:23Z) - A Unified Linear Speedup Analysis of Federated Averaging and Nesterov
FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。
本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。
また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文 参考訳(メタデータ) (2020-07-11T05:59:08Z) - Elastic Consistency: A General Consistency Model for Distributed
Stochastic Gradient Descent [28.006781039853575]
近年の機械学習の進歩を支える重要な要素は、大規模な分散メモリ環境で機械学習モデルをトレーニングする能力である。
本稿では,大規模機械学習モデルの学習に使用される一般収束手法を提案する。
我々のフレームワークは弾性弾性境界と呼ばれ、様々な分散SGD法に対する収束境界を導出することができる。
論文 参考訳(メタデータ) (2020-01-16T16:10:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。