論文の概要: Statistical Estimation and Inference via Local SGD in Federated Learning

• arxiv url: http://arxiv.org/abs/2109.01326v1
• Date: Fri, 3 Sep 2021 06:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:05:22.242471
• Title: Statistical Estimation and Inference via Local SGD in Federated Learning
• Title（参考訳）: フェデレーション学習における局所SGDによる統計的推定と推論
• Authors: Xiang Li, Jiadong Liang, Xiangyu Chang, Zhihua Zhang
• Abstract要約: 本稿では,フェデレート環境での統計的推定と推測を行う方法について検討する。 間欠的通信を用いて通信効率を向上させるマルチラウンド推定手法であるLocal SGDを解析する。
• 参考スコア（独自算出の注目度）: 23.32304977333178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) makes a large amount of edge computing devices (e.g., mobile phones) jointly learn a global model without data sharing. In FL, data are generated in a decentralized manner with high heterogeneity. This paper studies how to perform statistical estimation and inference in the federated setting. We analyze the so-called Local SGD, a multi-round estimation procedure that uses intermittent communication to improve communication efficiency. We first establish a {\it functional central limit theorem} that shows the averaged iterates of Local SGD weakly converge to a rescaled Brownian motion. We next provide two iterative inference methods: the {\it plug-in} and the {\it random scaling}. Random scaling constructs an asymptotically pivotal statistic for inference by using the information along the whole Local SGD path. Both the methods are communication efficient and applicable to online data. Our theoretical and empirical results show that Local SGD simultaneously achieves both statistical efficiency and communication efficiency.
• Abstract（参考訳）: フェデレーション学習(fl)は、大量のエッジコンピューティングデバイス(携帯電話など)を共同で、データ共有なしでグローバルモデルを学ぶ。 FLでは、データは高均一性で分散的に生成される。 本稿では,フェデレーション環境での統計的推定と推論を行う方法について検討する。 間欠的通信を用いて通信効率を向上させるマルチラウンド推定手法であるLocal SGDを解析する。 まず、局所 sgd の平均イテレートが再スケールされたブラウン運動に弱収束することを示す {\it functional central limit theorem} を確立する。 次に、2つの反復的推論手法: {\it plug-in} と {\it random scaling} を提供する。 ランダムスケーリングは、局所的なSGDパス全体に沿った情報を使用することで、推論のための漸近的なピボット統計を構成する。 どちらの方法も通信効率が良く、オンラインデータに適用できる。 その結果,局所sgdは統計的効率と通信効率の両方を同時に達成できることがわかった。

関連論文リスト

• Fast-Convergent and Communication-Alleviated Heterogeneous Hierarchical Federated Learning in Autonomous Driving [29.646749372031593]
  ストリートシーンのセマンティック理解(TriSU)は、自動運転(AD)の複雑なタスクである 特定の地理的領域のデータからトレーニングされた推論モデルは、都市間データドメインシフトによって他の領域に適用された場合、一般化が不十分である。 Hierarchical Federated Learning (HFL)は、異なる都市の分散データセット上での協調的なプライバシ保存トレーニングによって、TriSUモデルの一般化を改善する潜在的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-29T05:27:40Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 フェレットは、ランダム性を共有する最初の一階法である。 高い計算効率、通信オーバーヘッドの低減、高速収束を実現している。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• FedLog: Personalized Federated Classification with Less Communication and More Flexibility [24.030147353437382]
  フェデレーション表現学習(FRL)は、ローカルデータから効果的な特徴抽出によるパーソナライズされたフェデレーションモデルを学習することを目的としている。 オーバヘッドを低減するため、生モデルパラメータの代わりに十分なデータサマリーを共有することを提案する。
  論文  参考訳（メタデータ） (2024-07-11T09:40:29Z)
• Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
  本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。 我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-11-06T20:11:41Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
  GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。 実際には、意味情報はデータから学んだ潜在的な分布によって表現される。 ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T09:17:50Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。