論文の概要: PFL-MoE: Personalized Federated Learning Based on Mixture of Experts

• arxiv url: http://arxiv.org/abs/2012.15589v1
• Date: Thu, 31 Dec 2020 12:51:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 00:33:42.113535
• Title: PFL-MoE: Personalized Federated Learning Based on Mixture of Experts
• Title（参考訳）: PFL-MoE:専門家の混合に基づく個人化フェデレーション学習
• Authors: Binbin Guo, Yuan Mei, Danyang Xiao, Weigang Wu, Ye Yin, Hongli Chang
• Abstract要約: フェデレーションラーニング(FL)は、データプライバシーを保護するために、トレーニングノード間のデータ共有を避けます。 PFL-MoEは一般的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。 本稿では,Fashion-MNISTデータセット上でLeNet-5およびVGG-16モデルをトレーニングし,PFL-MoEの有効性を示す。
• 参考スコア（独自算出の注目度）: 1.8757823231879849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is an emerging distributed machine learning paradigm that avoids data sharing among training nodes so as to protect data privacy. Under coordination of the FL server, each client conducts model training using its own computing resource and private data set. The global model can be created by aggregating the training results of clients. To cope with highly non-IID data distributions, personalized federated learning (PFL) has been proposed to improve overall performance by allowing each client to learn a personalized model. However, one major drawback of a personalized model is the loss of generalization. To achieve model personalization while maintaining generalization, in this paper, we propose a new approach, named PFL-MoE, which mixes outputs of the personalized model and global model via the MoE architecture. PFL-MoE is a generic approach and can be instantiated by integrating existing PFL algorithms. Particularly, we propose the PFL-MF algorithm which is an instance of PFL-MoE based on the freeze-base PFL algorithm. We further improve PFL-MF by enhancing the decision-making ability of MoE gating network and propose a variant algorithm PFL-MFE. We demonstrate the effectiveness of PFL-MoE by training the LeNet-5 and VGG-16 models on the Fashion-MNIST and CIFAR-10 datasets with non-IID partitions.
• Abstract（参考訳）: Federated Learning(FL)は、トレーニングノード間のデータ共有を回避し、データのプライバシを保護する、新興の分散機械学習パラダイムである。 FLサーバの調整の下で、各クライアントは独自のコンピューティングリソースとプライベートデータセットを使用してモデルトレーニングを行う。 グローバルモデルは、クライアントのトレーニング結果を集約することで作成できる。 高度に非IIDなデータ配信に対処するため、パーソナライズされたフェデレーション学習(PFL)が提案され、各クライアントがパーソナライズされたモデルを学ぶことで全体的なパフォーマンスを向上させる。 しかし、パーソナライズされたモデルの大きな欠点は一般化の喪失である。 一般化を維持しながらモデルパーソナライズを実現するため,本論文ではパーソナライズされたモデルとグローバルモデルの出力をMoEアーキテクチャを介して混合するPFL-MoEという新しいアプローチを提案する。 PFL-MoEは汎用的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。 特に,凍結ベースPFLアルゴリズムに基づくPFL-MoEの例であるPFL-MFアルゴリズムを提案する。 我々は、MoEゲーティングネットワークの意思決定能力を高め、PFL-MFEをさらに改善し、変種アルゴリズムPFL-MFEを提案する。 非IIDパーティションを持つFashion-MNISTおよびCIFAR-10データセット上で,LeNet-5およびVGG-16モデルのトレーニングによりPFL-MoEの有効性を示す。

関連論文リスト

• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Parameterized Knowledge Transfer for Personalized Federated Learning [11.223753730705374]
  異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。 提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
  論文  参考訳（メタデータ） (2021-11-04T13:41:45Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)
• A Contract Theory based Incentive Mechanism for Federated Learning [52.24418084256517]
  フェデレートラーニング(FL)は、データプライバシ保護機械学習パラダイムとして機能し、分散クライアントによってトレーニングされた協調モデルを実現する。 FLタスクを達成するために、タスクパブリッシャはFLサーバに金銭的なインセンティブを支払う必要があり、FLサーバはFLクライアントにタスクをオフロードする。 タスクがクライアントによってプライベートにトレーニングされているという事実から、FLクライアントに対して適切なインセンティブを設計することは困難である。
  論文  参考訳（メタデータ） (2021-08-12T07:30:42Z)
• Personalized Federated Learning with Clustered Generalization [16.178571176116073]
  学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。 訓練対象におけるPFL法と従来のFL法の主な違い 本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
  論文  参考訳（メタデータ） (2021-06-24T14:17:00Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。