論文の概要: PFL-MoE: Personalized Federated Learning Based on Mixture of Experts

• arxiv url: http://arxiv.org/abs/2012.15589v1
• Date: Thu, 31 Dec 2020 12:51:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 00:33:42.113535
• Title: PFL-MoE: Personalized Federated Learning Based on Mixture of Experts
• Title（参考訳）: PFL-MoE:専門家の混合に基づく個人化フェデレーション学習
• Authors: Binbin Guo, Yuan Mei, Danyang Xiao, Weigang Wu, Ye Yin, Hongli Chang
• Abstract要約: フェデレーションラーニング(FL)は、データプライバシーを保護するために、トレーニングノード間のデータ共有を避けます。 PFL-MoEは一般的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。 本稿では,Fashion-MNISTデータセット上でLeNet-5およびVGG-16モデルをトレーニングし,PFL-MoEの有効性を示す。
• 参考スコア（独自算出の注目度）: 1.8757823231879849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is an emerging distributed machine learning paradigm that avoids data sharing among training nodes so as to protect data privacy. Under coordination of the FL server, each client conducts model training using its own computing resource and private data set. The global model can be created by aggregating the training results of clients. To cope with highly non-IID data distributions, personalized federated learning (PFL) has been proposed to improve overall performance by allowing each client to learn a personalized model. However, one major drawback of a personalized model is the loss of generalization. To achieve model personalization while maintaining generalization, in this paper, we propose a new approach, named PFL-MoE, which mixes outputs of the personalized model and global model via the MoE architecture. PFL-MoE is a generic approach and can be instantiated by integrating existing PFL algorithms. Particularly, we propose the PFL-MF algorithm which is an instance of PFL-MoE based on the freeze-base PFL algorithm. We further improve PFL-MF by enhancing the decision-making ability of MoE gating network and propose a variant algorithm PFL-MFE. We demonstrate the effectiveness of PFL-MoE by training the LeNet-5 and VGG-16 models on the Fashion-MNIST and CIFAR-10 datasets with non-IID partitions.
• Abstract（参考訳）: Federated Learning(FL)は、トレーニングノード間のデータ共有を回避し、データのプライバシを保護する、新興の分散機械学習パラダイムである。 FLサーバの調整の下で、各クライアントは独自のコンピューティングリソースとプライベートデータセットを使用してモデルトレーニングを行う。 グローバルモデルは、クライアントのトレーニング結果を集約することで作成できる。 高度に非IIDなデータ配信に対処するため、パーソナライズされたフェデレーション学習(PFL)が提案され、各クライアントがパーソナライズされたモデルを学ぶことで全体的なパフォーマンスを向上させる。 しかし、パーソナライズされたモデルの大きな欠点は一般化の喪失である。 一般化を維持しながらモデルパーソナライズを実現するため,本論文ではパーソナライズされたモデルとグローバルモデルの出力をMoEアーキテクチャを介して混合するPFL-MoEという新しいアプローチを提案する。 PFL-MoEは汎用的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。 特に,凍結ベースPFLアルゴリズムに基づくPFL-MoEの例であるPFL-MFアルゴリズムを提案する。 我々は、MoEゲーティングネットワークの意思決定能力を高め、PFL-MFEをさらに改善し、変種アルゴリズムPFL-MFEを提案する。 非IIDパーティションを持つFashion-MNISTおよびCIFAR-10データセット上で,LeNet-5およびVGG-16モデルのトレーニングによりPFL-MoEの有効性を示す。

関連論文リスト

• DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning [13.393529840544117]
  既存のパーソナライズされた学習モデルでは、学習モデルの性能を改善するために、類似したクライアントを同様のデータ分散で集約するのが好ましい。 本稿では,動的親和性に基づく個人化フェデレーション学習モデル(DA-PFL)を提案する。
  論文  参考訳（メタデータ） (2024-03-14T11:12:10Z)
• PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning [16.344719695572586]
  各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。 提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。 提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
  論文  参考訳（メタデータ） (2023-10-13T15:21:25Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
  FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。 具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。 また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
  論文  参考訳（メタデータ） (2023-04-16T20:19:18Z)
• Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation [24.679535905451758]
  PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。 既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。 PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
  論文  参考訳（メタデータ） (2023-03-27T13:00:20Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。