論文の概要: Solution Simplex Clustering for Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2403.03333v1
- Date: Tue, 5 Mar 2024 21:34:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:57:42.819983
- Title: Solution Simplex Clustering for Heterogeneous Federated Learning
- Title(参考訳): ヘテロジニアスフェデレート学習のためのソリューションsimplexクラスタリング
- Authors: Dennis Grinwald, Philipp Wiesner, Shinichi Nakajima
- Abstract要約: 我々は、高度に異種なクライアント分布下での優れたパフォーマンスを達成するために、連邦学習(FL)における大きな課題に取り組みます。
本稿では,このような矛盾を解消するためのソリューション単純クラスタ型フェデレートラーニング(SosicFL)を提案する。
実験の結果,SosicFLは性能を向上し,計算オーバーヘッドを最小限に抑えたグローバルかつパーソナライズされたFLのトレーニングプロセスを加速することがわかった。
- 参考スコア(独自算出の注目度): 6.049660810617422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We tackle a major challenge in federated learning (FL) -- achieving good
performance under highly heterogeneous client distributions. The difficulty
partially arises from two seemingly contradictory goals: learning a common
model by aggregating the information from clients, and learning local
personalized models that should be adapted to each local distribution. In this
work, we propose Solution Simplex Clustered Federated Learning (SosicFL) for
dissolving such contradiction. Based on the recent ideas of learning solution
simplices, SosicFL assigns a subregion in a simplex to each client, and
performs FL to learn a common solution simplex. This allows the client models
to possess their characteristics within the degrees of freedom in the solution
simplex, and at the same time achieves the goal of learning a global common
model. Our experiments show that SosicFL improves the performance and
accelerates the training process for global and personalized FL with minimal
computational overhead.
- Abstract(参考訳): 我々は、高度に異種なクライアント分布下での優れたパフォーマンスを達成するために、連邦学習(FL)における大きな課題に取り組む。
この難しさは、クライアントからの情報を集約することで共通のモデルを学ぶことと、各ローカル分布に適応すべきローカルパーソナライズされたモデルを学ぶことだ。
本稿では,このような矛盾を解消するためのソリューション単純クラスタ型フェデレーション学習(SosicFL)を提案する。
最近の学習ソリューションsimplicesのアイデアに基づいて、sosicflはsimplexのサブリージョンを各クライアントに割り当て、共通のソリューションsimplexを学ぶためにflを実行する。
これにより、クライアントモデルは、ソリューションsimplexの自由度内でその特性を持つことができ、同時に、グローバルな共通モデルを学ぶという目標を達成することができる。
実験の結果,SosicFLは性能を向上し,計算オーバーヘッドを最小限に抑えたグローバルかつパーソナライズされたFLのトレーニングプロセスを加速することがわかった。
関連論文リスト
- Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳(メタデータ) (2023-11-28T05:44:26Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous
Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。
本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。
我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文 参考訳(メタデータ) (2023-05-31T07:00:42Z) - Personalized Federated Learning with Local Attention [5.018560254008613]
Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。
FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。
textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。
pFedLAでは2つのモジュールが提案されている。
論文 参考訳(メタデータ) (2023-04-02T20:10:32Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳(メタデータ) (2022-11-07T11:12:57Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T13:03:27Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。