論文の概要: Statistical Estimation and Inference via Local SGD in Federated Learning
- arxiv url: http://arxiv.org/abs/2109.01326v1
- Date: Fri, 3 Sep 2021 06:02:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 14:05:22.242471
- Title: Statistical Estimation and Inference via Local SGD in Federated Learning
- Title(参考訳): フェデレーション学習における局所SGDによる統計的推定と推論
- Authors: Xiang Li, Jiadong Liang, Xiangyu Chang, Zhihua Zhang
- Abstract要約: 本稿では,フェデレート環境での統計的推定と推測を行う方法について検討する。
間欠的通信を用いて通信効率を向上させるマルチラウンド推定手法であるLocal SGDを解析する。
- 参考スコア(独自算出の注目度): 23.32304977333178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) makes a large amount of edge computing devices (e.g.,
mobile phones) jointly learn a global model without data sharing. In FL, data
are generated in a decentralized manner with high heterogeneity. This paper
studies how to perform statistical estimation and inference in the federated
setting. We analyze the so-called Local SGD, a multi-round estimation procedure
that uses intermittent communication to improve communication efficiency. We
first establish a {\it functional central limit theorem} that shows the
averaged iterates of Local SGD weakly converge to a rescaled Brownian motion.
We next provide two iterative inference methods: the {\it plug-in} and the {\it
random scaling}. Random scaling constructs an asymptotically pivotal statistic
for inference by using the information along the whole Local SGD path. Both the
methods are communication efficient and applicable to online data. Our
theoretical and empirical results show that Local SGD simultaneously achieves
both statistical efficiency and communication efficiency.
- Abstract(参考訳): フェデレーション学習(fl)は、大量のエッジコンピューティングデバイス(携帯電話など)を共同で、データ共有なしでグローバルモデルを学ぶ。
FLでは、データは高均一性で分散的に生成される。
本稿では,フェデレーション環境での統計的推定と推論を行う方法について検討する。
間欠的通信を用いて通信効率を向上させるマルチラウンド推定手法であるLocal SGDを解析する。
まず、局所 sgd の平均イテレートが再スケールされたブラウン運動に弱収束することを示す {\it functional central limit theorem} を確立する。
次に、2つの反復的推論手法: {\it plug-in} と {\it random scaling} を提供する。
ランダムスケーリングは、局所的なSGDパス全体に沿った情報を使用することで、推論のための漸近的なピボット統計を構成する。
どちらの方法も通信効率が良く、オンラインデータに適用できる。
その結果,局所sgdは統計的効率と通信効率の両方を同時に達成できることがわかった。
関連論文リスト
- Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。
我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。
UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文 参考訳(メタデータ) (2023-11-06T20:11:41Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.84926694477846]
フェデレートラーニング(FL)は、分散モデルトレーニングの新たな標準となっている。
本稿では,局所パラメータと大域パラメータの偏差を考慮した適応学習率反復アルゴリズムを提案する。
提案手法は,IIDおよび非IIDデータ分布を持つ実世界のデータセットにおけるモデル精度と収束率の両方において,最先端のFLスキームよりも優れている。
論文 参考訳(メタデータ) (2023-03-28T08:07:28Z) - Statistical Inference with Stochastic Gradient Methods under
$\phi$-mixing Data [9.77185962310918]
データが$phi$-mixingの場合の統計的推測のためのミニバッチSGD推定器を提案する。
信頼区間は、関連するミニバッチSGDプロシージャを用いて構成される。
提案手法はメモリ効率が高く,実装が容易である。
論文 参考訳(メタデータ) (2023-02-24T16:16:43Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing [5.404315085380945]
我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。
提案手法は実際のデータセットで完全に検証される。
論文 参考訳(メタデータ) (2022-02-11T17:52:56Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳(メタデータ) (2021-05-26T18:07:19Z) - Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。
実際には、意味情報はデータから学んだ潜在的な分布によって表現される。
ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
論文 参考訳(メタデータ) (2020-07-28T09:17:50Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。