論文の概要: Understanding Model Averaging in Federated Learning on Heterogeneous
Data
- arxiv url: http://arxiv.org/abs/2305.07845v1
- Date: Sat, 13 May 2023 06:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 19:17:19.433549
- Title: Understanding Model Averaging in Federated Learning on Heterogeneous
Data
- Title（参考訳）: 不均一データを用いたフェデレーション学習における平均モデル理解
- Authors: Tailin Zhou, Zehong Lin, Jun Zhang, Danny H.K. Tsang
- Abstract要約: 損失/エラーの景観を可視化し,モデル平均化の幾何学的性質について検討する。
我々は,グローバルモデルの予測誤差を,クライアントモデルに関連する5つの要因に分解する。
これらの知見に触発されて、予測誤差を低減するために、グローバルモデルに反復移動平均化(IMA)を適用することを提案する。
- 参考スコア（独自算出の注目度）: 8.400454179356219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model averaging, a widely adopted technique in federated learning (FL),
aggregates multiple client models trained on heterogeneous data to obtain a
well-performed global model. However, the rationale behind its success is not
well understood. To shed light on this issue, we investigate the geometric
properties of model averaging by visualizing the loss/error landscape. The
geometrical visualization shows that the client models surround the global
model within a common basin, and the global model may deviate from the bottom
of the basin even though it performs better than the client models. To further
understand this phenomenon, we decompose the expected prediction error of the
global model into five factors related to client models. Specifically, we find
that the global-model error after early training mainly comes from i) the
client-model error on non-overlapping data between client datasets and the
global dataset and ii) the maximal distance between the global and client
models. Inspired by these findings, we propose adopting iterative moving
averaging (IMA) on global models to reduce the prediction error and limiting
client exploration to control the maximal distance at the late training. Our
experiments demonstrate that IMA significantly improves the accuracy and
training speed of existing FL methods on benchmark datasets with various data
heterogeneity.
- Abstract（参考訳）: モデル平均化(model averaging)は、フェデレーション学習(fl)で広く採用されている手法で、異種データでトレーニングされた複数のクライアントモデルを集約し、よく整備されたグローバルモデルを得る。
しかし、その成功の根拠はよく理解されていない。
そこで本研究では,損失/エラーの景観を可視化し,モデル平均化の幾何学的性質について検討する。
幾何学的可視化は、クライアントモデルが共通盆地内のグローバルモデルを取り囲み、クライアントモデルよりも優れた性能を示したとしても、グローバルモデルは盆地の底部から逸脱する可能性があることを示している。
この現象をさらに理解するために,グローバルモデルの予測誤差をクライアントモデルに関連する5つの要因に分解する。
特に、早期トレーニング後のグローバルモデルエラーは、主に、
一 クライアントデータセットとグローバルデータセットの重複しないデータのクライアントモデルエラー
二 グローバルモデルとクライアントモデルとの間の最大距離
これらの知見に触発されて,グローバルモデルに反復移動平均化(IMA)を適用して予測誤差を低減し,遅延訓練時の最大距離を制御するクライアント探索を制限することを提案する。
実験により,既存のfl法の精度とトレーニング速度が,様々なデータ不均一性を持つベンチマークデータセットにおいて著しく向上することを示した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳（メタデータ） (2024-01-24T10:51:15Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。
クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-02T20:10:14Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。