Fugu-MT 論文翻訳(概要): Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation

論文の概要: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation

arxiv url: http://arxiv.org/abs/2204.13170v1
Date: Wed, 27 Apr 2022 20:04:24 GMT
ステータス: 処理完了
システム内更新日: 2022-04-29 12:20:45.734574
Title: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation
Title（参考訳）: 適応バイアス推定によるフェデレーション学習におけるクライアントドリフト最小化
Authors: Farshid Varno, Marzie Saghayi, Laya Rafiee, Sharut Gupta, Stan Matwin, Mohammad Havaei
Abstract要約: Federated Learningでは、多くのクライアントが協力して、データを共有せずにモデルをトレーニングします。このドリフトを推定し,従って除去するために,分散低減技術がフェデレートラーニング最適化に組み込まれている。本稿では,クライアントのドリフトを効率的に削減する適応アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 12.700560934827466
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In Federated Learning a number of clients collaborate to train a model without sharing their data. Client models are optimized locally and are communicated through a central hub called server. A major challenge is to deal with heterogeneity among clients' data which causes the local optimization to drift away with respect to the global objective. In order to estimate and therefore remove this drift, variance reduction techniques have been incorporated into Federated Learning optimization recently. However, the existing solutions propagate the error of their estimations, throughout the optimization trajectory which leads to inaccurate approximations of the clients' drift and ultimately failure to remove them properly. In this paper, we address this issue by introducing an adaptive algorithm that efficiently reduces clients' drift. Compared to the previous works on adapting variance reduction to Federated Learning, our approach uses less or the same level of communication bandwidth, computation or memory. Additionally, it addresses the instability problem--prevalent in prior work, caused by increasing norm of the estimates which makes our approach a much more practical solution for large scale Federated Learning settings. Our experimental results demonstrate that the proposed algorithm converges significantly faster and achieves higher accuracy compared to the baselines in an extensive set of Federated Learning benchmarks.
Abstract（参考訳）: Federated Learningでは、多くのクライアントが協力して、データを共有せずにモデルをトレーニングします。クライアントモデルはローカルに最適化され、サーバと呼ばれる中央ハブを介して通信される。大きな課題は、クライアントのデータ間の不均一性に対処し、グローバルな目的に関して局所的な最適化を逸脱させることである。このドリフトを推定し除去するために,近年,分散低減手法が統合学習最適化に取り入れられている。しかし、既存の解は、クライアントのドリフトを不正確な近似に導く最適化軌道を通して、その推定の誤差を伝搬し、最終的にそれらを適切に除去できない。本稿では,クライアントのドリフトを効率的に低減する適応アルゴリズムを導入することでこの問題に対処する。フェデレートラーニングに分散低減を適用する以前の研究と比較すると、我々のアプローチは通信帯域幅、計算、記憶のレベルが小さいか同じである。さらに、従来の作業でよく見られる不安定性の問題に対処する。これは、我々のアプローチを大規模なフェデレート学習設定のためのより実用的なソリューションにする見積もりのノルムの増加に起因する。実験の結果,本アルゴリズムの収束速度は,フェデレーション学習ベンチマークのベースラインと比較して有意に速く,高い精度が得られることがわかった。

関連論文リスト

Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文参考訳（メタデータ） (2024-05-16T14:22:49Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文参考訳（メタデータ） (2023-05-31T07:00:42Z)
Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文参考訳（メタデータ） (2023-05-26T19:25:49Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Federated Learning under Heterogeneous and Correlated Client Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文参考訳（メタデータ） (2023-01-11T18:38:48Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
論文参考訳（メタデータ） (2021-06-04T07:36:59Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。