論文の概要: Unifying Distillation with Personalization in Federated Learning
- arxiv url: http://arxiv.org/abs/2105.15191v1
- Date: Mon, 31 May 2021 17:54:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 19:24:19.945891
- Title: Unifying Distillation with Personalization in Federated Learning
- Title（参考訳）: フェデレーション学習におけるパーソナライズによる蒸留の統一
- Authors: Siddharth Divi, Habiba Farrukh, Berkay Celik
- Abstract要約: Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
- 参考スコア（独自算出の注目度）: 1.8262547855491458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a decentralized privacy-preserving learning
technique in which clients learn a joint collaborative model through a central
aggregator without sharing their data. In this setting, all clients learn a
single common predictor (FedAvg), which does not generalize well on each
client's local data due to the statistical data heterogeneity among clients. In
this paper, we address this problem with PersFL, a discrete two-stage
personalized learning algorithm. In the first stage, PersFL finds the optimal
teacher model of each client during the FL training phase. In the second stage,
PersFL distills the useful knowledge from optimal teachers into each user's
local model. The teacher model provides each client with some rich, high-level
representation that a client can easily adapt to its local model, which
overcomes the statistical heterogeneity present at different clients. We
evaluate PersFL on CIFAR-10 and MNIST datasets using three data-splitting
strategies to control the diversity between clients' data distributions. We
empirically show that PersFL outperforms FedAvg and three state-of-the-art
personalization methods, pFedMe, Per-FedAvg, and FedPer on majority data-splits
with minimal communication cost. Further, we study the performance of PersFL on
different distillation objectives, how this performance is affected by the
equitable notion of fairness among clients, and the number of required
communication rounds. PersFL code is available at https://tinyurl.com/hdh5zhxs
for public use and validation.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントは単一の共通予測子(fedavg)を学習するが、クライアント間の統計データの不均一性のため、各クライアントのローカルデータではうまく一般化しない。
本稿では,2段階のパーソナライズ学習アルゴリズムであるpersflを用いてこの問題に対処する。
最初の段階では、PersFLはFLトレーニングフェーズ中に各クライアントの最適な教師モデルを見つける。
第2段階では、persflは最適な教師からの有用な知識を各ユーザのローカルモデルに割く。
教師モデルは、クライアントがローカルモデルに容易に適応できるような、リッチでハイレベルな表現を各クライアントに提供する。
CIFAR-10とMNISTデータセットのPersFLを3つのデータ分割戦略を用いて評価し,クライアントのデータ分散の多様性を制御した。
我々はPersFLがFedAvgと最先端のパーソナライズ手法であるpFedMe、Per-FedAvg、FedPerを最小限の通信コストで多数データスプリットで上回ることを示す。
さらに, 異なる蒸留目的に対するpersflの性能, この性能が, クライアント間の公平性という公平な概念, 必要な通信ラウンド数にどのように影響するかについて検討した。
PersFLのコードはhttps://tinyurl.com/hdh5zhxsで公開されている。
関連論文リスト
- FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。
広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。
本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
論文 参考訳（メタデータ） (2024-11-04T05:44:28Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - New Metrics to Evaluate the Performance and Fairness of Personalized
Federated Learning [5.500172106704342]
フェデレートラーニング(FL)では、クライアントは中央アグリゲータを通じて単一のグローバルモデル(FedAvg)を学ぶ。
この設定では、クライアント間でのデータの非IID分布は、グローバルFLモデルが各クライアントのローカルデータに良いパフォーマンスを提供することを制限する。
パーソナライズされたFLは、各クライアントのパーソナライズされたモデルを見つけることで、この問題に対処することを目指している。
論文 参考訳（メタデータ） (2021-07-28T05:30:17Z) - FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。
クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-02T20:10:14Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。