論文の概要: FedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2402.01350v1
- Date: Fri, 2 Feb 2024 12:09:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:40:43.512049
- Title: FedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning
- Title（参考訳）: fedmoe: モデルヘテロジェンス型フェデレーション学習のための専門家の混合によるデータレベルのパーソナライズ
- Authors: Liping Yi, Han Yu, Chao Ren, Heng Zhang, Gang Wang, Xiaoguang Liu,
Xiaoxiao Li
- Abstract要約: フェデレートラーニング(FL)は分散データの協調トレーニングに広く使用されているが、データ、システム、モデルの不均一性といった課題に直面している。
We propose a novel-heterogeneous Personal Federated Learning Algorithm (FedMoE) with the Mixture of Experts (MoE)。
FedMoEはまず、モデルの不均一性をサポートしながら、きめ細かいデータレベルでローカルモデルのパーソナライズを強化する。
- 参考スコア（独自算出の注目度）: 35.72303739409116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is widely employed for collaborative training on
decentralized data but faces challenges like data, system, and model
heterogeneity. This prompted the emergency of model-heterogeneous personalized
federated learning (MHPFL). However, concerns persist regarding data and model
privacy, model performance, communication, and computational costs in current
MHPFL methods. To tackle these concerns, we propose a novel model-heterogeneous
personalized Federated learning algorithm (FedMoE) with the Mixture of Experts
(MoE), renowned for enhancing large language models (LLMs). It assigns a shared
homogeneous small feature extractor and a local gating network for each
client's local heterogeneous large model. (1) During local training, the local
heterogeneous model's feature extractor acts as a local expert for personalized
feature (representation) extraction, while the shared homogeneous small feature
extractor serves as a global expert for generalized feature extraction. The
local gating network produces personalized weights for extracted
representations from both experts on each data sample. The three models form a
local heterogeneous MoE. The weighted mixed representation fuses global
generalized and local personalized features and is processed by the local
heterogeneous large model's header with personalized prediction information for
output. The MoE and prediction header are updated synchronously. (2) The
trained local homogeneous small feature extractors are sent to the server for
cross-client information fusion via aggregation. Briefly, FedMoE first enhances
local model personalization at a fine-grained data level while supporting model
heterogeneity.
- Abstract（参考訳）: フェデレートラーニング(FL)は分散データの協調トレーニングに広く使用されているが、データ、システム、モデルの不均一性といった課題に直面している。
これにより,モデル・ヘテロジニアス・パーソナライズド・フェデレーション・ラーニング(MHPFL)が緊急化した。
しかしながら、データとモデルのプライバシ、モデルパフォーマンス、通信、現在のmhpflメソッドの計算コストに関する懸念は続いている。
これらの問題に対処するために,大規模言語モデル (LLM) の強化で有名なMixture of Experts (MoE) を用いた新しいモデル固有型フェデレート学習アルゴリズム (FedMoE) を提案する。
各クライアントのローカルなヘテロジニアス大規模モデルに対して、共有された均質な小さな特徴抽出器とローカルゲーティングネットワークを割り当てる。
1)局所訓練中,局所異種モデルの特徴抽出器はパーソナライズされた特徴(表現)抽出のローカルエキスパートとして機能し,共有同種小特徴抽出器は一般化された特徴抽出のグローバルエキスパートとして機能する。
ローカルゲーティングネットワークは、各データサンプル上の両方の専門家から抽出された表現に対してパーソナライズされた重み付けを生成する。
3つのモデルは局所的な異種moeを形成する。
重み付き混合表現は、グローバル一般化およびローカルパーソナライズされた特徴を融合させ、出力のためのパーソナライズされた予測情報を備えたローカルヘテロジニアス大規模モデルのヘッダによって処理される。
MoEと予測ヘッダは同期的に更新される。
2) 訓練された局所的同種小特徴抽出器は, 集約を介してクロスクライアント情報融合のためにサーバに送られる。
簡単に言うと、FedMoEはまず、モデルの不均一性をサポートしながら、きめ細かいデータレベルで局所モデルパーソナライズを強化する。
関連論文リスト
- Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。
既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。
本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
論文 参考訳（メタデータ） (2024-06-01T16:37:08Z) - pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。
7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文 参考訳（メタデータ） (2024-04-27T09:52:59Z) - Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。
また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。
提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
論文 参考訳（メタデータ） (2024-01-29T16:01:38Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models [53.30484242706966]
本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。
被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。
実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-10-20T09:22:51Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳（メタデータ） (2021-08-23T15:47:53Z) - Think Locally, Act Globally: Federated Learning with Local and Global
Representations [92.68484710504666]
フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。
本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。
また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
論文 参考訳（メタデータ） (2020-01-06T12:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。