論文の概要: Personalized Federated Learning with Clustered Generalization
- arxiv url: http://arxiv.org/abs/2106.13044v1
- Date: Thu, 24 Jun 2021 14:17:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 14:51:58.599244
- Title: Personalized Federated Learning with Clustered Generalization
- Title（参考訳）: クラスタ化一般化による個人化フェデレーション学習
- Authors: Xueyang Tang, Song Guo, Jingcai Guo
- Abstract要約: 学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
- 参考スコア（独自算出の注目度）: 16.178571176116073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the recent emerging personalized federated learning (PFL) that aims
at dealing with the challenging problem of Non-I.I.D. data in the federated
learning (FL) setting. The key difference between PFL and conventional FL lies
in the training target, of which the personalized models in PFL usually pursue
a trade-off between personalization (i.e., usually from local models) and
generalization (i.e., usually from the global model) on trained models.
Conventional FL methods can hardly meet this target because of their both
well-developed global and local models. The prevalent PFL approaches usually
maintain a global model to guide the training process of local models and
transfer a proper degree of generalization to them. However, the sole global
model can only provide one direction of generalization and may even transfer
negative effects to some local models when rich statistical diversity exists
across multiple local datasets. Based on our observation, most real or
synthetic data distributions usually tend to be clustered to some degree, of
which we argue different directions of generalization can facilitate the PFL.
In this paper, we propose a novel concept called clustered generalization to
handle the challenge of statistical heterogeneity in FL. Specifically, we
maintain multiple global (generalized) models in the server to associate with
the corresponding amount of local model clusters in clients, and further
formulate the PFL as a bi-level optimization problem that can be solved
efficiently and robustly. We also conduct detailed theoretical analysis and
provide the convergence guarantee for the smooth non-convex objectives.
Experimental results on both synthetic and real datasets show that our approach
surpasses the state-of-the-art by a significant margin.
- Abstract（参考訳）: 我々は近年,非I.D.の課題に対処することを目的としたPFLについて検討している。
federated learning (fl) 設定のデータ。
pflと従来のflの主な違いはトレーニング対象であり、pflのパーソナライズされたモデルは通常、パーソナライズ(通常ローカルモデルから)とトレーニングモデルでの一般化(通常グローバルモデルから)の間のトレードオフを追求する。
従来のfl法は、よく開発されたグローバルモデルとローカルモデルの両方のため、この目標を達成できない。
一般的なPFLアプローチは、通常、局所モデルのトレーニングプロセスを導き、適切な一般化の度合いをそれらに移すためのグローバルモデルを維持する。
しかし、唯一のグローバルモデルは1つの一般化の方向しか提供できず、複数のローカルデータセットにまたがる豊富な統計学的多様性が存在する場合、いくつかのローカルモデルに負の影響を伝達する可能性さえある。
我々の観測から、ほとんどの実データや合成データの分布はある程度クラスター化されがちであり、一般化の異なる方向がPFLを促進すると論じている。
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
具体的には、サーバ内の複数のグローバル(一般化された)モデルを維持し、クライアントの対応するローカルモデルクラスタの量に関連付けるとともに、PFLを効率よく堅牢に解決できる二段階最適化問題として定式化する。
また, 詳細な理論解析を行い, 滑らかな非凸目的に対する収束保証を提供する。
合成データと実データの両方における実験結果は、我々のアプローチが最先端をかなり上回っていることを示している。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - Improving Group Connectivity for Generalization of Federated Deep
Learning [8.594665698279522]
フェデレートラーニング(FL)では、複数のクライアントが反復的なローカル更新とモデル融合を通じてグローバルモデルを協調的にトレーニングする。
本稿では,基本的な接続性の観点からFLの一般化を研究・改善する。
我々はFedGuCciとFedGuCci+を提案する。
論文 参考訳（メタデータ） (2024-02-29T08:27:01Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。
クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
論文 参考訳（メタデータ） (2022-12-06T05:15:38Z) - Personalized Federated Learning with Hidden Information on Personalized
Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。
実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-19T12:45:19Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-16T11:30:19Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。