論文の概要: Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability

• arxiv url: http://arxiv.org/abs/2002.07399v3
• Date: Tue, 22 Dec 2020 02:47:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:42:17.150092
• Title: Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability
• Title（参考訳）: 断続的クライアント可用性下でのサブリニア高速化による分散非凸最適化
• Authors: Yikai Yan, Chaoyue Niu, Yucheng Ding, Zhenzhe Zheng, Fan Wu, Guihai Chen, Shaojie Tang, Zhihua Wu
• Abstract要約: フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。 本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。 我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。 我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
• 参考スコア（独自算出の注目度）: 46.85205907718874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a new distributed machine learning framework, where a bunch of heterogeneous clients collaboratively train a model without sharing training data. In this work, we consider a practical and ubiquitous issue when deploying federated learning in mobile environments: intermittent client availability, where the set of eligible clients may change during the training process. Such intermittent client availability would seriously deteriorate the performance of the classical Federated Averaging algorithm (FedAvg for short). Thus, we propose a simple distributed non-convex optimization algorithm, called Federated Latest Averaging (FedLaAvg for short), which leverages the latest gradients of all clients, even when the clients are not available, to jointly update the global model in each iteration. Our theoretical analysis shows that FedLaAvg attains the convergence rate of $O(E^{1/2}/(N^{1/4} T^{1/2}))$, achieving a sublinear speedup with respect to the total number of clients. We implement FedLaAvg along with several baselines and evaluate them over the benchmarking MNIST and Sentiment140 datasets. The evaluation results demonstrate that FedLaAvg achieves more stable training than FedAvg in both convex and non-convex settings and indeed reaches a sublinear speedup.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、さまざまなクライアントがトレーニングデータを共有せずに、協調的にモデルをトレーニングする、新しい分散機械学習フレームワークである。 本研究では,モバイル環境におけるフェデレーション学習の実践的かつユビキタスな課題である間欠的なクライアントの可用性について考察する。 このような断続的なクライアント可用性は、従来のフェデレーション平均化アルゴリズム(略してFedAvg)の性能を著しく低下させる。 そこで我々は,クライアントが利用できない場合でも,すべてのクライアントの最新の勾配を利用して,各イテレーションでグローバルモデルを共同で更新する,FedLaAvg(FedLaAvg)と呼ばれる単純な分散非凸最適化アルゴリズムを提案する。 我々の理論的解析は、FedLaAvgが$O(E^{1/2}/(N^{1/4} T^{1/2})$に収束し、クライアントの総数に対してサブ線形スピードアップを達成することを示す。 我々はFedLaAvgといくつかのベースラインを実装し、MNISTとSentiment140データセットをベンチマークして評価する。 評価の結果,FedLaAvgは凸と非凸の両方の設定でFedAvgよりも安定したトレーニングを達成し,実際にサブ線形スピードアップを達成した。

関連論文リスト

• Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
  本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-10-02T03:30:53Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
  InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。 本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
  論文  参考訳（メタデータ） (2023-05-16T17:36:34Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。