論文の概要: Federated learning with hierarchical clustering of local updates to
improve training on non-IID data
- arxiv url: http://arxiv.org/abs/2004.11791v2
- Date: Wed, 6 May 2020 16:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 02:58:28.979789
- Title: Federated learning with hierarchical clustering of local updates to
improve training on non-IID data
- Title(参考訳): 局所更新の階層的クラスタリングによるフェデレーション学習による非IIDデータのトレーニング改善
- Authors: Christopher Briggs, Zhong Fan, Peter Andras
- Abstract要約: 一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
- 参考スコア(独自算出の注目度): 3.3517146652431378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a well established method for performing machine
learning tasks over massively distributed data. However in settings where data
is distributed in a non-iid (not independent and identically distributed)
fashion -- as is typical in real world situations -- the joint model produced
by FL suffers in terms of test set accuracy and/or communication costs compared
to training on iid data. We show that learning a single joint model is often
not optimal in the presence of certain types of non-iid data. In this work we
present a modification to FL by introducing a hierarchical clustering step
(FL+HC) to separate clusters of clients by the similarity of their local
updates to the global joint model. Once separated, the clusters are trained
independently and in parallel on specialised models. We present a robust
empirical analysis of the hyperparameters for FL+HC for several iid and non-iid
settings. We show how FL+HC allows model training to converge in fewer
communication rounds (significantly so under some non-iid settings) compared to
FL without clustering. Additionally, FL+HC allows for a greater percentage of
clients to reach a target accuracy compared to standard FL. Finally we make
suggestions for good default hyperparameters to promote superior performing
specialised models without modifying the the underlying federated learning
communication protocol.
- Abstract(参考訳): フェデレートラーニング(FL)は、大規模分散データ上で機械学習タスクを実行するための、確立された方法である。
しかし、現実の状況では典型的なように、データが非ID(独立ではなく、同一の分散)な方法で分散されるような環境では、FLが生成するジョイントモデルは、iidデータのトレーニングと比較してテストセットの正確性や通信コストの面で苦しむ。
単一結合モデルの学習は,特定の非iidデータの存在下では最適ではないことが多い。
本研究では,クライアントのクラスタを分離する階層的クラスタリングステップ(FL+HC)を導入し,その局所的な更新をグローバルジョイントモデルに類似させることによりFLを改良する。
一旦分離されると、クラスタは独立して、特別なモデルで並列にトレーニングされる。
本稿では,いくつかのiidおよび非iid設定におけるfl+hcのハイパーパラメータのロバストな経験的解析を行う。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルを収束させることができることを示す。
さらに、FL+HCは、標準的なFLと比較して、より多くのクライアントがターゲット精度に達することができる。
最後に、基礎となるフェデレート学習通信プロトコルを変更することなく、優れた機能を持つ特化モデルを促進するために、優れたデフォルトハイパーパラメータを提案する。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳(メタデータ) (2023-12-11T10:44:52Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳(メタデータ) (2023-11-28T05:44:26Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-03-02T01:39:16Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data [37.667379000751325]
フェデレートラーニング(Federated Learning, FL)は、医療機関にグローバルモデルにおけるコラボレーションの見通しを提供する分散ラーニング手法である。
本研究では,FLの中間的半言語モデルを生成する適応階層クラスタリング手法について検討する。
本実験は, 分類精度の標準的なFL法と比較して, 不均質分布において有意な性能向上を示した。
論文 参考訳(メタデータ) (2022-07-07T17:25:04Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。