Fugu-MT 論文翻訳(概要): Achieving Linear Convergence in Federated Learning under Objective and Systems Heterogeneity

論文の概要: Achieving Linear Convergence in Federated Learning under Objective and Systems Heterogeneity

arxiv url: http://arxiv.org/abs/2102.07053v1
Date: Sun, 14 Feb 2021 02:47:35 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 16:47:22.629383
Title: Achieving Linear Convergence in Federated Learning under Objective and Systems Heterogeneity
Title（参考訳）: 目標とシステムの不均一性を考慮した連合学習における線形収束の実現
Authors: Aritra Mitra, Rayana Jaafar, George J. Pappas, and Hamed Hassani
Abstract要約: FedLinは、過去のグラデーションを活用し、クライアント固有の学習率を採用する、シンプルで新しいアルゴリズムです。我々は,滑らかな凸,凸,非線形損失関数に対して集中収束率(アップ定数)をマッチングできるアプローチはフェドリンのみであることを示した。
参考スコア（独自算出の注目度）: 24.95640915217946
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider a standard federated learning architecture where a group of clients periodically coordinate with a central server to train a statistical model. We tackle two major challenges in federated learning: (i) objective heterogeneity, which stems from differences in the clients' local loss functions, and (ii) systems heterogeneity, which leads to slow and straggling client devices. Due to such client heterogeneity, we show that existing federated learning algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. To address the above limitation, we propose FedLin - a simple, new algorithm that exploits past gradients and employs client-specific learning rates. When the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the trade-offs associated with infrequent, periodic communication. Notably, FedLin is the only approach that is able to match centralized convergence rates (up to constants) for smooth strongly convex, convex, and non-convex loss functions despite arbitrary objective and systems heterogeneity. We further show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate.
Abstract（参考訳）: 統計的モデルをトレーニングするために,クライアント群が定期的に中央サーバと協調する,標準的なフェデレーション学習アーキテクチャを考える。フェデレーション学習における2つの大きな課題: (i) 客の局所的損失関数の違いに起因する客観的不均質性, (ii) システムの不均質性, クライアント機器の速度低下と拡張性である。このようなクライアントの不均質性から,既存のフェデレーション学習アルゴリズムは,線形収束を保証しつつ,不正確な点への収束を保証するか,あるいは大域的最小値に収束するかのどちらか,すなわち,高速収束は精度の犠牲になる。上記の制限に対処するために,過去の勾配を活用し,クライアント固有の学習率を用いる,シンプルな新しいアルゴリズムであるfederinを提案する。クライアントの局所損失関数が滑らかで強力な凸である場合、FedLin がグローバル最小値への線形収束を保証することを示します。次に、FedLinの収束率に一致する上下境界を確立し、頻繁で周期的なコミュニケーションに関連するトレードオフを強調します。特にフェドリンは、任意の目的や系が不均一であるにもかかわらず、滑らかな強凸、凸、非凸損失関数に対して(定数まで)集中収束率をマッチングできる唯一の方法である。さらに, フェドリンの線形収束速度は, 攻撃的勾配スパーシフィケーション下で保持され, 圧縮レベルが収束率に及ぼす影響を定量化することを示した。

関連論文リスト

Analysis of regularized federated learning [8.489782750973005]
フェデレーション学習は、異質なビッグデータとプライバシ保護を扱うための効率的なツールである。ループ降下は、通信コストを削減するために、ビッグデータの実装においてしばしば使用される。
論文参考訳（メタデータ） (2024-11-03T12:47:54Z)
Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文参考訳（メタデータ） (2024-05-16T14:22:49Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation [1.45179582111722]
我々は,世界目標の曲率を推定するために,最初のフェデレーションゼロ次アルゴリズムを設計する。誤差ノルムが線形に収束するインクリメンタルなヘッセン推定器を取り、それを連邦化ゼロ階数設定に適応させる。我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域的線形収束を証明した。
論文参考訳（メタデータ） (2023-09-29T12:13:41Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文参考訳（メタデータ） (2023-06-28T18:52:27Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文参考訳（メタデータ） (2020-07-15T05:01:23Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)
Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。等質データと異質データの両方における収束度を解析する。
論文参考訳（メタデータ） (2020-07-02T14:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。