Fugu-MT 論文翻訳(概要): A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates

論文の概要: A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates

arxiv url: http://arxiv.org/abs/2206.10189v1
Date: Tue, 21 Jun 2022 08:46:05 GMT
ステータス: 処理完了
システム内更新日: 2022-06-22 18:17:54.999322
Title: A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Title（参考訳）: 非同期および異種クライアント更新によるフェデレーション最適化の一般理論
Authors: Yann Fraboni, Richard Vidal, Laetitia Kameni, Marco Lorenzi
Abstract要約: 我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
参考スコア（独自算出の注目度）: 10.609815608017065
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel framework to study asynchronous federated learning optimization with delays in gradient updates. Our theoretical framework extends the standard FedAvg aggregation scheme by introducing stochastic aggregation weights to represent the variability of the clients update time, due for example to heterogeneous hardware capabilities. Our formalism applies to the general federated setting where clients have heterogeneous datasets and perform at least one step of stochastic gradient descent (SGD). We demonstrate convergence for such a scheme and provide sufficient conditions for the related minimum to be the optimum of the federated problem. We show that our general framework applies to existing optimization schemes including centralized learning, FedAvg, asynchronous FedAvg, and FedBuff. The theory here provided allows drawing meaningful guidelines for designing a federated learning experiment in heterogeneous conditions. In particular, we develop in this work FedFix, a novel extension of FedAvg enabling efficient asynchronous federated training while preserving the convergence stability of synchronous aggregation. We empirically demonstrate our theory on a series of experiments showing that asynchronous FedAvg leads to fast convergence at the expense of stability, and we finally demonstrate the improvements of FedFix over synchronous and asynchronous FedAvg.
Abstract（参考訳）: 本稿では,勾配更新の遅延を考慮した非同期フェデレーション学習最適化手法を提案する。我々の理論的枠組みは、例えば異種ハードウェア機能のために、クライアントの更新時間の変動を表す確率的集約重みを導入し、標準的なfedavg集約スキームを拡張している。我々の定式化は、クライアントが不均一なデータセットを持ち、確率勾配降下(SGD)の少なくとも1ステップを実行する一般的な連邦設定に適用される。このようなスキームの収束を実証し,関連する最小条件をフェデレーション問題の最適条件とする。我々の一般的なフレームワークは、集中学習、FedAvg、非同期FedAvg、FedBuffといった既存の最適化手法に適用できることを示します。この理論により、異種条件下での連合学習実験を設計するための有意義なガイドラインを作成できる。具体的には,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。我々は、非同期fedavgが安定性を犠牲にして高速収束に繋がることを示す一連の実験で、実証実験を行い、最終的に同期および非同期fedavgに対するfedfixの改善を実証した。

関連論文リスト

FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文参考訳（メタデータ） (2024-07-25T20:02:57Z)
FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting [9.261784956541641]
非同期フェデレートラーニング(AFL)メソッドは、最も遅いエージェントによる非同期フェデレーションに代わる、有望な代替手段として登場した。 AFLモデルでは、更新を高速に生成できるエージェントに対して、遅いエージェントを残してトレーニングを行う。我々はFedStaleWeightを紹介した。これは非同期クライアント更新の集約に、平均安定化を利用して公平な再重み付けを計算するアルゴリズムである。
論文参考訳（メタデータ） (2024-06-05T02:52:22Z)
FedFa: A Fully Asynchronous Training Paradigm for Federated Learning [14.4313600357833]
フェデレートラーニング(Federated Learning)は、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムである。近年の最先端のソリューションでは,半非同期アプローチを用いて収束の保証による待ち時間コストの軽減が提案されている。我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、モデル収束を保証し、待ち時間を完全に排除できる。
論文参考訳（メタデータ） (2024-04-17T02:46:59Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory [5.502596101979607]
本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。攻撃対象のローカルSGDよりも精度が1.35%向上した。
論文参考訳（メタデータ） (2023-10-10T09:17:17Z)
Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。本稿では,共形予測を連邦学習環境に拡張する。本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文参考訳（メタデータ） (2023-05-27T19:57:27Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
FEDNEST: Federated Bilevel, Minimax, and Compositional Optimization [53.78643974257301]
多くの現代のML問題は、ミニマックスと合成最適化を仮定したネストされた双レベルプログラミングに該当する。我々は、一般的なネスト問題に対処するフェデレーション付き交互勾配法を提案する。
論文参考訳（メタデータ） (2022-05-04T17:48:55Z)
Blockchain-enabled Server-less Federated Learning [5.065631761462706]
我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
論文参考訳（メタデータ） (2021-12-15T07:41:23Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。