論文の概要: pFedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2402.01350v3
- Date: Sun, 11 Feb 2024 06:33:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 20:33:14.131432
- Title: pFedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning
- Title（参考訳）: pFedMoE:モデル・ヘテロジニアス・パーソナライズド・フェデレーション学習のためのエキスパートの混在によるデータレベルパーソナライズ
- Authors: Liping Yi, Han Yu, Chao Ren, Heng Zhang, Gang Wang, Xiaoguang Liu,
Xiaoxiao Li
- Abstract要約: そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。
共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。
全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
- 参考スコア（独自算出の注目度）: 35.72303739409116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has been widely adopted for collaborative training on
decentralized data. However, it faces the challenges of data, system, and model
heterogeneity. This has inspired the emergence of model-heterogeneous
personalized federated learning (MHPFL). Nevertheless, the problem of ensuring
data and model privacy, while achieving good model performance and keeping
communication and computation costs low remains open in MHPFL. To address this
problem, we propose a model-heterogeneous personalized Federated learning with
Mixture of Experts (pFedMoE) method. It assigns a shared homogeneous small
feature extractor and a local gating network for each client's local
heterogeneous large model. Firstly, during local training, the local
heterogeneous model's feature extractor acts as a local expert for personalized
feature (representation) extraction, while the shared homogeneous small feature
extractor serves as a global expert for generalized feature extraction. The
local gating network produces personalized weights for extracted
representations from both experts on each data sample. The three models form a
local heterogeneous MoE. The weighted mixed representation fuses generalized
and personalized features and is processed by the local heterogeneous large
model's header with personalized prediction information. The MoE and prediction
header are updated simultaneously. Secondly, the trained local homogeneous
small feature extractors are sent to the server for cross-client information
fusion via aggregation. Overall, pFedMoE enhances local model personalization
at a fine-grained data level, while supporting model heterogeneity.
- Abstract（参考訳）: federated learning (fl) は分散データの共同トレーニングに広く採用されている。
しかし、データ、システム、モデルの不均一性の課題に直面している。
これはモデルヘテロジニアス・パーソナライズド・フェデレーション・ラーニング(MHPFL)の出現に影響を与えた。
それでも、データとモデルのプライバシを確保することの問題は、優れたモデル性能を実現し、通信と計算コストを低く抑えることにある。
そこで本研究では,エキスパート混合学習法(pFedMoE)をモデルとしたフェデレーション学習を提案する。
各クライアントのローカルなヘテロジニアス大規模モデルに対して、共有された均質な小さな特徴抽出器とローカルゲーティングネットワークを割り当てる。
まず、ローカルトレーニング中に、ローカルヘテロジニアスモデルの特徴抽出器は、パーソナライズされた特徴抽出のローカルエキスパートとして、共有された均質な小さな特徴抽出器は、一般化された特徴抽出のグローバルエキスパートとして機能する。
ローカルゲーティングネットワークは、各データサンプル上の両方の専門家から抽出された表現に対してパーソナライズされた重み付けを生成する。
3つのモデルは局所的な異種moeを形成する。
重み付き混合表現は、一般化されパーソナライズされた特徴を融合させ、パーソナライズされた予測情報を持つ局所異種大モデルのヘッダーによって処理される。
MoEと予測ヘッダを同時に更新する。
次に、訓練されたローカルに均質な小さな特徴抽出器をサーバに送信し、アグリゲーションを介してクライアント間の情報融合を行う。
全体として、pfedmoeは、モデルの多様性をサポートしながら、きめ細かいデータレベルでローカルモデルのパーソナライズを強化する。
関連論文リスト
- Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。
既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。
本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
論文 参考訳（メタデータ） (2024-06-01T16:37:08Z) - pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。
7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文 参考訳（メタデータ） (2024-04-27T09:52:59Z) - Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。
また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。
提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
論文 参考訳（メタデータ） (2024-01-29T16:01:38Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models [53.30484242706966]
本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。
被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。
実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-10-20T09:22:51Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳（メタデータ） (2021-08-23T15:47:53Z) - Think Locally, Act Globally: Federated Learning with Local and Global
Representations [92.68484710504666]
フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。
本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。
また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
論文 参考訳（メタデータ） (2020-01-06T12:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。