Fugu-MT 論文翻訳(概要): Achieving Linear Speedup with Partial Worker Participation in Non-IID Federated Learning

論文の概要: Achieving Linear Speedup with Partial Worker Participation in Non-IID Federated Learning

arxiv url: http://arxiv.org/abs/2101.11203v2
Date: Thu, 25 Feb 2021 23:15:23 GMT
ステータス: 処理完了
システム内更新日: 2021-03-13 19:41:36.359576
Title: Achieving Linear Speedup with Partial Worker Participation in Non-IID Federated Learning
Title（参考訳）: 非IIDフェデレーション学習における部分作業者参加による線形高速化
Authors: Haibo Yang, Minghong Fang, Jia Liu
Abstract要約: Federated Learning (FL) は分散機械学習アーキテクチャであり、多数の作業者が分散データを使ってモデルを共同学習する。収束の線形高速化が非i.i.dで実現可能であることを示す。 FLに部分的なワーカー参加のデータセット。
参考スコア（独自算出の注目度）: 6.994020662415705
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a distributed machine learning architecture that leverages a large number of workers to jointly learn a model with decentralized data. FL has received increasing attention in recent years thanks to its data privacy protection, communication efficiency and a linear speedup for convergence in training (i.e., convergence performance increases linearly with respect to the number of workers). However, existing studies on linear speedup for convergence are only limited to the assumptions of i.i.d. datasets across workers and/or full worker participation, both of which rarely hold in practice. So far, it remains an open question whether or not the linear speedup for convergence is achievable under non-i.i.d. datasets with partial worker participation in FL. In this paper, we show that the answer is affirmative. Specifically, we show that the federated averaging (FedAvg) algorithm (with two-sided learning rates) on non-i.i.d. datasets in non-convex settings achieves a convergence rate $\mathcal{O}(\frac{1}{\sqrt{mKT}} + \frac{1}{T})$ for full worker participation and a convergence rate $\mathcal{O}(\frac{1}{\sqrt{nKT}} + \frac{1}{T})$ for partial worker participation, where $K$ is the number of local steps, $T$ is the number of total communication rounds, $m$ is the total worker number and $n$ is the worker number in one communication round if for partial worker participation. Our results also reveal that the local steps in FL could help the convergence and show that the maximum number of local steps can be improved to $T/m$. We conduct extensive experiments on MNIST and CIFAR-10 to verify our theoretical results.
Abstract（参考訳）: Federated Learning (FL) は分散機械学習アーキテクチャであり、多数の作業者が分散データを使ってモデルを共同学習する。近年、データプライバシ保護、通信効率の向上、トレーニングにおける収束の線形スピードアップ(つまり、労働者数に対して収束性能が直線的に増加する)などにより、FLは注目を集めている。しかし、収束に対する線形スピードアップに関する既存の研究は i.i.d の仮定に限られる。労働者および/または完全な労働者の参加にわたるデータセット。これまでのところ、収束の線形スピードアップが非i.i.dで達成可能かどうかは、まだ疑問である。 FLに部分的なワーカー参加のデータセット。本稿では,その答えが肯定的であることを示す。具体的には、非i.i.d上でのフェデレーション平均(FedAvg)アルゴリズム(両面学習率)を示す。非凸設定のデータセットは収束率$\mathcal{O}(\frac{1}{\sqrt{mKT}} + \frac{1}{T})$ for full worker part and a convergence rate$\mathcal{O}(\frac{1}{\sqrt{nKT}} + \frac{1}{T})$ for partial worker part workers part, where $K$ is the number of local steps, $T$ is the number of communication round, $m$ is the total workers number and $n$ is the one communication round if for partial workers join. 結果はまた,flの局所的なステップが収束の助けとなり,最大局所的なステップ数を$t/m$に改善できることを示した。我々は、MNISTとCIFAR-10の広範な実験を行い、理論結果を検証する。

関連論文リスト

Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。私たちのアプローチは単純だが効果的であり、タスクサンプリングと推論におけるパラメータの戦略的共有に依存しています。数値実験により, ベースライン上におけるLASER-VFLの性能が向上した。
論文参考訳（メタデータ） (2024-10-29T22:09:31Z)
Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題ですペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文参考訳（メタデータ） (2024-10-03T16:12:59Z)
A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文参考訳（メタデータ） (2023-10-21T18:48:45Z)
On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文参考訳（メタデータ） (2023-10-09T07:56:56Z)
DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文参考訳（メタデータ） (2023-08-16T11:22:36Z)
Achieving Linear Speedup in Non-IID Federated Bilevel Learning [16.56643290676128]
我々はFedMBOという新しいフェデレーションバイレベルアルゴリズムを提案する。 We show that FedMBO achieve a convergence rate of $mathcalObig(frac1sqrtnK+frac1K+fracsqrtnK3/2big)$ on non-i.d.datasets。これは、i.d.d.federated bilevel optimizationに対する最初の理論的線形スピードアップ結果である。
論文参考訳（メタデータ） (2023-02-10T18:28:00Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
TURF: A Two-factor, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。本稿では,この数値をほぼ最適に推定する手法を提案する。
論文参考訳（メタデータ） (2022-02-15T03:49:28Z)
FedLGA: Towards System-Heterogeneity of Federated Learning via Local Gradient Approximation [21.63719641718363]
システム不均一なFL問題を定式化してFedLGAと呼ばれる新しいアルゴリズムを提案する。複数のデータセットに対する総合的な実験の結果、FedLGAはシステム不均一性に対して現在のFLベンチマークよりも優れていた。
論文参考訳（メタデータ） (2021-12-22T16:05:09Z)
CFedAvg: Achieving Efficient Communication and Fast Convergence in Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。 FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文参考訳（メタデータ） (2021-06-14T04:27:19Z)
Variance Reduced Local SGD with Lower Communication Complexity [52.44473777232414]
本稿では,通信の複雑さをさらに軽減するために,分散化ローカルSGDを提案する。 VRL-SGDは、労働者が同一でないデータセットにアクセスしても、通信の複雑さが低い$O(Tfrac12 Nfrac32)$で、エンフラーイテレーションのスピードアップを達成する。
論文参考訳（メタデータ） (2019-12-30T08:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。