論文の概要: Federated learning with hierarchical clustering of local updates to
improve training on non-IID data
- arxiv url: http://arxiv.org/abs/2004.11791v2
- Date: Wed, 6 May 2020 16:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 02:58:28.979789
- Title: Federated learning with hierarchical clustering of local updates to
improve training on non-IID data
- Title（参考訳）: 局所更新の階層的クラスタリングによるフェデレーション学習による非IIDデータのトレーニング改善
- Authors: Christopher Briggs, Zhong Fan, Peter Andras
- Abstract要約: 一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
- 参考スコア（独自算出の注目度）: 3.3517146652431378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a well established method for performing machine
learning tasks over massively distributed data. However in settings where data
is distributed in a non-iid (not independent and identically distributed)
fashion -- as is typical in real world situations -- the joint model produced
by FL suffers in terms of test set accuracy and/or communication costs compared
to training on iid data. We show that learning a single joint model is often
not optimal in the presence of certain types of non-iid data. In this work we
present a modification to FL by introducing a hierarchical clustering step
(FL+HC) to separate clusters of clients by the similarity of their local
updates to the global joint model. Once separated, the clusters are trained
independently and in parallel on specialised models. We present a robust
empirical analysis of the hyperparameters for FL+HC for several iid and non-iid
settings. We show how FL+HC allows model training to converge in fewer
communication rounds (significantly so under some non-iid settings) compared to
FL without clustering. Additionally, FL+HC allows for a greater percentage of
clients to reach a target accuracy compared to standard FL. Finally we make
suggestions for good default hyperparameters to promote superior performing
specialised models without modifying the the underlying federated learning
communication protocol.
- Abstract（参考訳）: フェデレートラーニング(FL)は、大規模分散データ上で機械学習タスクを実行するための、確立された方法である。
しかし、現実の状況では典型的なように、データが非ID(独立ではなく、同一の分散)な方法で分散されるような環境では、FLが生成するジョイントモデルは、iidデータのトレーニングと比較してテストセットの正確性や通信コストの面で苦しむ。
単一結合モデルの学習は,特定の非iidデータの存在下では最適ではないことが多い。
本研究では,クライアントのクラスタを分離する階層的クラスタリングステップ(FL+HC)を導入し,その局所的な更新をグローバルジョイントモデルに類似させることによりFLを改良する。
一旦分離されると、クラスタは独立して、特別なモデルで並列にトレーニングされる。
本稿では,いくつかのiidおよび非iid設定におけるfl+hcのハイパーパラメータのロバストな経験的解析を行う。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルを収束させることができることを示す。
さらに、FL+HCは、標準的なFLと比較して、より多くのクライアントがターゲット精度に達することができる。
最後に、基礎となるフェデレート学習通信プロトコルを変更することなく、優れた機能を持つ特化モデルを促進するために、優れたデフォルトハイパーパラメータを提案する。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2024-05-10T11:52:53Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-28T05:44:26Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data [37.667379000751325]
フェデレートラーニング(Federated Learning, FL)は、医療機関にグローバルモデルにおけるコラボレーションの見通しを提供する分散ラーニング手法である。
本研究では,FLの中間的半言語モデルを生成する適応階層クラスタリング手法について検討する。
本実験は, 分類精度の標準的なFL法と比較して, 不均質分布において有意な性能向上を示した。
論文 参考訳（メタデータ） (2022-07-07T17:25:04Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。