論文の概要: Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2305.07845v4
- Date: Fri, 31 May 2024 02:57:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 21:00:54.959099
- Title: Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data
- Title（参考訳）: 不均一データを用いたフェデレーション学習におけるモデル平均化の理解と改善
- Authors: Tailin Zhou, Zehong Lin, Jun Zhang, Danny H. K. Tsang,
- Abstract要約: We study the loss landscape of model averaging in Federated Learning (FL)。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
- 参考スコア（独自算出の注目度）: 9.792805355704203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model averaging is a widely adopted technique in federated learning (FL) that aggregates multiple client models to obtain a global model. Remarkably, model averaging in FL yields a superior global model, even when client models are trained with non-convex objective functions and on heterogeneous local datasets. However, the rationale behind its success remains poorly understood. To shed light on this issue, we first visualize the loss landscape of FL over client and global models to illustrate their geometric properties. The visualization shows that the client models encompass the global model within a common basin, and interestingly, the global model may deviate from the basin's center while still outperforming the client models. To gain further insights into model averaging in FL, we decompose the expected loss of the global model into five factors related to the client models. Specifically, our analysis reveals that the global model loss after early training mainly arises from \textit{i)} the client model's loss on non-overlapping data between client datasets and the global dataset and \textit{ii)} the maximum distance between the global and client models. Based on the findings from our loss landscape visualization and loss decomposition, we propose utilizing iterative moving averaging (IMA) on the global model at the late training phase to reduce its deviation from the expected minimum, while constraining client exploration to limit the maximum distance between the global and client models. Our experiments demonstrate that incorporating IMA into existing FL methods significantly improves their accuracy and training speed on various heterogeneous data setups of benchmark datasets. Code is available at \url{https://github.com/TailinZhou/FedIMA}.
- Abstract（参考訳）: モデル平均化は、複数のクライアントモデルを集約してグローバルモデルを得るフェデレートラーニング(FL)において広く採用されている手法である。
FLにおけるモデル平均化は、クライアントモデルが非凸目的関数で訓練されたり、異種局所データセットで訓練されたとしても、優れたグローバルモデルをもたらす。
しかし、その成功の根拠はよく分かっていない。
この問題を浮き彫りにするために、クライアントモデルとグローバルモデルによるFLの損失景観を視覚化し、それらの幾何学的性質を例証する。
可視化により、クライアントモデルは共通の盆地内のグローバルモデルを含み、興味深いことに、グローバルモデルは流域の中心から逸脱し、クライアントモデルよりも優れています。
FLにおけるモデル平均化に関するさらなる知見を得るため、グローバルモデルの損失をクライアントモデルに関連する5つの要因に分解する。
具体的には、早期トレーニング後のグローバルモデル損失は主にクライアントデータセットとグローバルデータセットの非重複データにおけるクライアントモデルの損失である。
ロスランドスケープの可視化と損失分解から得られた知見に基づいて,我々は,グローバルモデルとクライアントモデルの間の最大距離を制限するために,クライアント探索を制約しながら,トレーニング後期のグローバルモデルに対する反復的移動平均化(IMA)を活用することを提案する。
実験により,既存のFL手法にIMAを組み込むことで,ベンチマークデータセットの異種データ設定における精度とトレーニング速度が大幅に向上することが示された。
コードは \url{https://github.com/TailinZhou/FedIMA} で公開されている。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳（メタデータ） (2024-01-24T10:51:15Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。
クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-02T20:10:14Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。