Fugu-MT 論文翻訳(概要): pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning

論文の概要: pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2404.17847v1
Date: Sat, 27 Apr 2024 09:52:59 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 12:29:16.736049
Title: pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning
Title（参考訳）: pFedAFM:異種フェデレーション学習におけるバッチレベルパーソナライズのための適応的特徴混合
Authors: Liping Yi, Han Yu, Chao Ren, Heng Zhang, Gang Wang, Xiaoguang Liu, Xiaoxiao Li,
Abstract要約: 教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
参考スコア（独自算出の注目度）: 34.01721941230425
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model-heterogeneous personalized federated learning (MHPFL) enables FL clients to train structurally different personalized models on non-independent and identically distributed (non-IID) local data. Existing MHPFL methods focus on achieving client-level personalization, but cannot address batch-level data heterogeneity. To bridge this important gap, we propose a model-heterogeneous personalized Federated learning approach with Adaptive Feature Mixture (pFedAFM) for supervised learning tasks. It consists of three novel designs: 1) A sharing global homogeneous small feature extractor is assigned alongside each client's local heterogeneous model (consisting of a heterogeneous feature extractor and a prediction header) to facilitate cross-client knowledge fusion. The two feature extractors share the local heterogeneous model's prediction header containing rich personalized prediction knowledge to retain personalized prediction capabilities. 2) An iterative training strategy is designed to alternately train the global homogeneous small feature extractor and the local heterogeneous large model for effective global-local knowledge exchange. 3) A trainable weight vector is designed to dynamically mix the features extracted by both feature extractors to adapt to batch-level data heterogeneity. Theoretical analysis proves that pFedAFM can converge over time. Extensive experiments on 2 benchmark datasets demonstrate that it significantly outperforms 7 state-of-the-art MHPFL methods, achieving up to 7.93% accuracy improvement while incurring low communication and computation costs.
Abstract（参考訳）: モデル・ヘテロジニアス・パーソナライズド・フェデレーション・ラーニング(MHPFL)により、FLクライアントは非独立かつ同一に分散された(非IID)ローカルデータに基づいて、構造的に異なるパーソナライズド・モデルを学ぶことができる。既存のMHPFLメソッドは、クライアントレベルのパーソナライゼーションの実現に重点を置いているが、バッチレベルのデータ不均一性には対処できない。この重要なギャップを埋めるために、教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスパーソナライズされたフェデレーション学習手法を提案する。 3つの斬新なデザインで構成されている。 1)グローバルな同種小特徴抽出器を各クライアントの局所異種モデル(異種特徴抽出器と予測ヘッダから構成される)と一緒に割り当て、クロスクライアント知識融合を促進する。 2つの特徴抽出器は、パーソナライズされた予測能力を維持するために、リッチなパーソナライズされた予測知識を含む局所異種モデルの予測ヘッダを共有する。 2)グローバルな同種小特徴抽出器と局所的異種大モデルとを交互に訓練し,効果的なグローバルな知識交換を行うための反復的学習戦略を考案した。 3)訓練可能な重みベクトルは、両方の特徴抽出器から抽出された特徴を動的に混合してバッチレベルのデータ不均一性に適応するように設計されている。理論的解析により、pFedAFMは時間とともに収束することを示した。 2つのベンチマークデータセットの大規模な実験により、7つの最先端のMHPFL法を著しく上回り、通信コストと計算コストを低減しつつ、最大7.93%の精度向上を実現している。

関連論文リスト

pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning [35.72303739409116]
そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
論文参考訳（メタデータ） (2024-02-02T12:09:20Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文参考訳（メタデータ） (2023-11-12T15:43:39Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文参考訳（メタデータ） (2023-05-04T12:21:34Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。 FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
論文参考訳（メタデータ） (2023-03-23T09:38:52Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文参考訳（メタデータ） (2021-08-23T15:47:53Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。