論文の概要: The Diversity Bonus: Learning from Dissimilar Distributed Clients in Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2407.15464v1
- Date: Mon, 22 Jul 2024 08:24:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 15:40:55.044243
- Title: The Diversity Bonus: Learning from Dissimilar Distributed Clients in Personalized Federated Learning
- Title（参考訳）: 多様性ボーナス:個人化フェデレーション学習における異種分散クライアントからの学習
- Authors: Xinghao Wu, Xuefeng Liu, Jianwei Niu, Guogang Zhu, Shaojie Tang, Xiaotian Li, Jiannong Cao,
- Abstract要約: そこで我々は,各クライアントが多種多様なデータ分布を持つクライアントから学習できるDiversiFedを提案する。
DiversiFedは異種クライアントの恩恵を受けることができ、したがって最先端の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 20.3260485904085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized Federated Learning (PFL) is a commonly used framework that allows clients to collaboratively train their personalized models. PFL is particularly useful for handling situations where data from different clients are not independent and identically distributed (non-IID). Previous research in PFL implicitly assumes that clients can gain more benefits from those with similar data distributions. Correspondingly, methods such as personalized weight aggregation are developed to assign higher weights to similar clients during training. We pose a question: can a client benefit from other clients with dissimilar data distributions and if so, how? This question is particularly relevant in scenarios with a high degree of non-IID, where clients have widely different data distributions, and learning from only similar clients will lose knowledge from many other clients. We note that when dealing with clients with similar data distributions, methods such as personalized weight aggregation tend to enforce their models to be close in the parameter space. It is reasonable to conjecture that a client can benefit from dissimilar clients if we allow their models to depart from each other. Based on this idea, we propose DiversiFed which allows each client to learn from clients with diversified data distribution in personalized federated learning. DiversiFed pushes personalized models of clients with dissimilar data distributions apart in the parameter space while pulling together those with similar distributions. In addition, to achieve the above effect without using prior knowledge of data distribution, we design a loss function that leverages the model similarity to determine the degree of attraction and repulsion between any two models. Experiments on several datasets show that DiversiFed can benefit from dissimilar clients and thus outperform the state-of-the-art methods.
- Abstract（参考訳）: Personalized Federated Learning (PFL)は、クライアントがパーソナライズされたモデルを協調的にトレーニングできるフレームワークである。
PFLは、異なるクライアントからのデータが独立せず、同一に分散されていない(非IID)状況を扱うのに特に有用である。
PFLの以前の研究は、クライアントが同様のデータ分布を持つ人からより多くの利益を得ることができると暗に仮定している。
それに対応して、トレーニング中に類似のクライアントに重み付けを割り当てるために、パーソナライズされた重み付けなどの手法が開発されている。
クライアントは、異なるデータ分散を持つ他のクライアントから利益を得ることができますか?
この質問は、クライアントが広範囲に異なるデータ分散を持ち、類似のクライアントのみから学ぶことで、他の多くのクライアントからの知識を失う、高いレベルの非IIDのシナリオに特に関係している。
類似したデータ分布でクライアントを扱う場合、パーソナライズされた重み付けなどの手法は、パラメータ空間に近づくようにモデルを強制する傾向にあることに留意する。
モデルが互いに離れることを許せば、クライアントが異種クライアントの恩恵を受けることができると推測するのは妥当です。
このアイデアに基づいて、個人化されたフェデレーション学習において、各クライアントが多様なデータ分布を持つクライアントから学習できるDiversiFedを提案する。
DiversiFedは、パラメータ空間内で異なるデータ分散を持つクライアントのパーソナライズされたモデルをプッシュし、類似した分散を持つクライアントをプルする。
また,データ分布の事前の知識を使わずに上記の効果を達成するために,モデル類似性を利用した損失関数を設計し,各モデル間のアトラクションと反発の度合いを判定する。
いくつかのデータセットの実験では、DiversiFedは異種クライアントの恩恵を受けられるため、最先端の手法よりも優れていることが示されている。
関連論文リスト
- Bold but Cautious: Unlocking the Potential of Personalized Federated
Learning through Cautiously Aggressive Collaboration [13.857939196296742]
パーソナライズド・フェデレーション・ラーニング(PFL)の主な問題は、クライアントのどのパラメータをローカライズするか、他の人と共有すべきかを決めることである。
本稿では,PFLにおけるクライアントコラボレーションのための新しいガイドラインを紹介する。
我々はFedCACと呼ばれる新しいPFL法を提案し、パラメータの非IIDデータに対する感度を定量的に評価する。
論文 参考訳（メタデータ） (2023-09-20T07:17:28Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳（メタデータ） (2023-04-16T20:19:18Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Personalized Federated Learning with Multi-branch Architecture [0.0]
フェデレートラーニング(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングすることを可能にする。
ニューラルネットワークの各レイヤを複数のブランチに分割し,各ブランチにクライアント固有の重みを割り当てることで,パーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。
CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-11-15T06:30:57Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。