論文の概要: Solution Simplex Clustering for Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2403.03333v1
- Date: Tue, 5 Mar 2024 21:34:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:57:42.819983
- Title: Solution Simplex Clustering for Heterogeneous Federated Learning
- Title（参考訳）: ヘテロジニアスフェデレート学習のためのソリューションsimplexクラスタリング
- Authors: Dennis Grinwald, Philipp Wiesner, Shinichi Nakajima
- Abstract要約: 我々は、高度に異種なクライアント分布下での優れたパフォーマンスを達成するために、連邦学習(FL)における大きな課題に取り組みます。
本稿では,このような矛盾を解消するためのソリューション単純クラスタ型フェデレートラーニング(SosicFL)を提案する。
実験の結果,SosicFLは性能を向上し,計算オーバーヘッドを最小限に抑えたグローバルかつパーソナライズされたFLのトレーニングプロセスを加速することがわかった。
- 参考スコア（独自算出の注目度）: 6.049660810617422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We tackle a major challenge in federated learning (FL) -- achieving good
performance under highly heterogeneous client distributions. The difficulty
partially arises from two seemingly contradictory goals: learning a common
model by aggregating the information from clients, and learning local
personalized models that should be adapted to each local distribution. In this
work, we propose Solution Simplex Clustered Federated Learning (SosicFL) for
dissolving such contradiction. Based on the recent ideas of learning solution
simplices, SosicFL assigns a subregion in a simplex to each client, and
performs FL to learn a common solution simplex. This allows the client models
to possess their characteristics within the degrees of freedom in the solution
simplex, and at the same time achieves the goal of learning a global common
model. Our experiments show that SosicFL improves the performance and
accelerates the training process for global and personalized FL with minimal
computational overhead.
- Abstract（参考訳）: 我々は、高度に異種なクライアント分布下での優れたパフォーマンスを達成するために、連邦学習(FL)における大きな課題に取り組む。
この難しさは、クライアントからの情報を集約することで共通のモデルを学ぶことと、各ローカル分布に適応すべきローカルパーソナライズされたモデルを学ぶことだ。
本稿では,このような矛盾を解消するためのソリューション単純クラスタ型フェデレーション学習(SosicFL)を提案する。
最近の学習ソリューションsimplicesのアイデアに基づいて、sosicflはsimplexのサブリージョンを各クライアントに割り当て、共通のソリューションsimplexを学ぶためにflを実行する。
これにより、クライアントモデルは、ソリューションsimplexの自由度内でその特性を持つことができ、同時に、グローバルな共通モデルを学ぶという目標を達成することができる。
実験の結果,SosicFLは性能を向上し,計算オーバーヘッドを最小限に抑えたグローバルかつパーソナライズされたFLのトレーニングプロセスを加速することがわかった。
関連論文リスト
- Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。
Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。
Sparse-ProxSkipの優れた性能を広範な実験で実証する。
論文 参考訳（メタデータ） (2024-05-31T05:21:12Z) - Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。
FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。
本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
論文 参考訳（メタデータ） (2024-05-02T11:29:48Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - SphereFed: Hyperspherical Federated Learning [22.81101040608304]
主な課題は、複数のクライアントにまたがる非i.i.d.データの処理である。
非i.d.問題に対処するために,超球面フェデレートラーニング(SphereFed)フレームワークを導入する。
ローカルデータに直接アクセスすることなく, キャリブレーションの解を効率的に, 分散的に計算できることを示す。
論文 参考訳（メタデータ） (2022-07-19T17:13:06Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳（メタデータ） (2021-12-28T18:13:09Z) - Tackling the Local Bias in Federated Graph Learning [48.887310972708036]
フェデレーショングラフ学習(FGL)では、グローバルグラフは異なるクライアントに分散し、各クライアントがサブグラフを保持する。
既存のFGL手法では、クロスクライアントエッジを効果的に活用できず、トレーニング中に構造情報が失われる。
集中型環境で訓練されたモデルと類似した局所モデルを作成するための新しいFGLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-22T08:22:36Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。