論文の概要: PFA: Privacy-preserving Federated Adaptation for Effective Model
Personalization
- arxiv url: http://arxiv.org/abs/2103.01548v1
- Date: Tue, 2 Mar 2021 08:07:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:01:24.292816
- Title: PFA: Privacy-preserving Federated Adaptation for Effective Model
Personalization
- Title（参考訳）: PFA: 効果的なモデルパーソナライゼーションのためのプライバシ保護フェデレーション適応
- Authors: Bingyan Liu, Yao Guo, Xiangqun Chen
- Abstract要約: フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。
本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。
PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.66389628571674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has become a prevalent distributed machine learning
paradigm with improved privacy. After learning, the resulting federated model
should be further personalized to each different client. While several methods
have been proposed to achieve personalization, they are typically limited to a
single local device, which may incur bias or overfitting since data in a single
device is extremely limited. In this paper, we attempt to realize
personalization beyond a single client. The motivation is that during FL, there
may exist many clients with similar data distribution, and thus the
personalization performance could be significantly boosted if these similar
clients can cooperate with each other. Inspired by this, this paper introduces
a new concept called federated adaptation, targeting at adapting the trained
model in a federated manner to achieve better personalization results. However,
the key challenge for federated adaptation is that we could not outsource any
raw data from the client during adaptation, due to privacy concerns. In this
paper, we propose PFA, a framework to accomplish Privacy-preserving Federated
Adaptation. PFA leverages the sparsity property of neural networks to generate
privacy-preserving representations and uses them to efficiently identify
clients with similar data distributions. Based on the grouping results, PFA
conducts an FL process in a group-wise way on the federated model to accomplish
the adaptation. For evaluation, we manually construct several practical FL
datasets based on public datasets in order to simulate both the class-imbalance
and background-difference conditions. Extensive experiments on these datasets
and popular model architectures demonstrate the effectiveness of PFA,
outperforming other state-of-the-art methods by a large margin while ensuring
user privacy. We will release our code at: https://github.com/lebyni/PFA.
- Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。
学習後、結果のフェデレーションモデルは、各クライアントにさらにパーソナライズされるべきです。
パーソナライゼーションを実現するいくつかの方法が提案されているが、典型的には単一のローカルデバイスに限定される。
本論文では,単一クライアントを超えたパーソナライゼーションの実現を試みる。
その動機は、FLの間、類似したデータ配信を持つ多くのクライアントが存在し、類似したクライアントが相互に協力できれば、パーソナライズ性能が大幅に向上する可能性があることである。
そこで本研究では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応という新しい概念を提案する。
しかし、連合適応の鍵となる課題は、プライバシの懸念のため、適応中にクライアントから生データをアウトソースできないことです。
本稿では,プライバシ保護フェデレーテッド・アダプテーションを実現するフレームワークであるPFAを提案する。
pfaは、プライバシ保存表現を生成するためにニューラルネットワークのスパーシティ特性を利用して、同様のデータ分布を持つクライアントを効率的に識別する。
グループ化の結果に基づいて、PFAは適応を達成するためにフェデレーションモデル上でグループ的にFLプロセスを実行する。
評価のために、クラス不均衡条件と背景拡散条件の両方をシミュレートするために、公開データセットに基づくいくつかの実用的なflデータセットを手作業で構築する。
これらのデータセットと一般的なモデルアーキテクチャに関する広範な実験は、PFAの有効性を実証し、ユーザーのプライバシーを確保しながら、他の最先端のメソッドを大きなマージンで上回る。
コードはhttps://github.com/lebyni/PFAで公開します。
関連論文リスト
- MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - Profit: Benchmarking Personalization and Robustness Trade-off in
Federated Prompt Tuning [40.16581292336117]
フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。
フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
論文 参考訳（メタデータ） (2023-10-06T23:46:33Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳（メタデータ） (2023-04-16T20:19:18Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - Federated Learning in Non-IID Settings Aided by Differentially Private
Synthetic Data [20.757477553095637]
Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。
連合学習における大きな課題は、局所データが不均一であるときに生じる。
我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
論文 参考訳（メタデータ） (2022-06-01T18:00:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。