論文の概要: Understanding and Improving Model Averaging in Federated Learning on
Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2305.07845v3
- Date: Tue, 17 Oct 2023 02:54:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 21:47:40.844962
- Title: Understanding and Improving Model Averaging in Federated Learning on
Heterogeneous Data
- Title（参考訳）: 不均一データを用いたフェデレーション学習におけるモデル平均化の理解と改善
- Authors: Tailin Zhou, Zehong Lin, Jun Zhang, Danny H.K. Tsang
- Abstract要約: 我々は,クライアントモデルが非テクスチュティデータセットでトレーニングされた場合でも,FL(Federated Learning)における平均化が優れたグローバルモデルが得られることを示した。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
- 参考スコア（独自算出の注目度）: 10.697936340766784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model averaging is a widely adopted technique in federated learning (FL) that
aggregates multiple client models to obtain a global model. Remarkably, model
averaging in FL can yield a superior global model, even when client models are
trained with non-convex objective functions and on heterogeneous local
datasets. However, the rationale behind its success remains poorly understood.
To shed light on this issue, we first visualize the loss landscape of FL over
client and global models to illustrate their geometric properties. The
visualization shows that the client models encompass the global model within a
common basin, and interestingly, the global model may deviate from the bottom
of the basin while still outperforming the client models. To gain further
insights into model averaging in FL, we decompose the expected loss of the
global model into five factors related to the client models. Specifically, our
analysis reveals that the loss of the global model after early training mainly
arises from \textit{i)} the client model's loss on non-overlapping data between
client datasets and the global dataset and \textit{ii)} the maximum distance
between the global and client models. Based on these findings from our loss
landscape visualization and loss decomposition, we propose utilizing iterative
moving averaging (IMA) on the global model at the late training phase to reduce
its deviation from the expected minimum, while constraining client exploration
to limit the maximum distance between the global and client models. Our
experiments demonstrate that incorporating IMA into existing FL methods
significantly improves their accuracy and training speed on various
heterogeneous data setups of benchmark datasets.
- Abstract（参考訳）: モデル平均化は、複数のクライアントモデルを集約してグローバルモデルを得るフェデレートラーニング(FL)において広く採用されている手法である。
FLにおけるモデル平均化は、非凸目的関数や異種局所データセットでクライアントモデルを訓練しても、優れたグローバルモデルが得られる。
しかし、その成功の根拠はよく分かっていない。
この問題を浮き彫りにするために、クライアントモデルとグローバルモデルによるFLの損失景観を視覚化し、それらの幾何学的性質を例証する。
可視化により、クライアントモデルは共通の盆地内のグローバルモデルを含み、興味深いことに、グローバルモデルは流域の底部から逸脱し、クライアントモデルよりも優れています。
FLにおけるモデル平均化に関するさらなる知見を得るため、グローバルモデルの損失をクライアントモデルに関連する5つの要因に分解する。
具体的には、初期トレーニング後のグローバルモデルの損失は主に、クライアントデータセットとグローバルデータセットの間の重複しないデータに対するクライアントモデルの損失と、グローバルモデルとクライアントモデルの間の最大距離である \textit{ii") から生じていることを明らかにします。
本研究は,ロスランドスケープの可視化と損失分解から得られた知見に基づいて,学習後期のグローバルモデルにおける反復移動平均化(IMA)を利用して,予測最小値からの偏差を低減し,グローバルモデルとクライアントモデルの間の最大距離を制限するクライアント探索を制約する。
実験により,既存のFL手法にIMAを組み込むことで,ベンチマークデータセットの異種データ設定における精度とトレーニング速度が大幅に向上することが示された。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳（メタデータ） (2024-01-24T10:51:15Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。
クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-02T20:10:14Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。