論文の概要: pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing
- arxiv url: http://arxiv.org/abs/2311.06879v1
- Date: Sun, 12 Nov 2023 15:43:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:30:32.841059
- Title: pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing
- Title（参考訳）: pFedES:特徴外共有を用いたモデル不均一な個人化フェデレーション学習
- Authors: Liping Yi, Han Yu, Gang Wang, Xiaoguang Liu
- Abstract要約: 特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
- 参考スコア（独自算出の注目度）: 19.403843478569303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a privacy-preserving collaborative machine learning paradigm, federated
learning (FL) has attracted significant interest from academia and the industry
alike. To allow each data owner (a.k.a., FL clients) to train a heterogeneous
and personalized local model based on its local data distribution, system
resources and requirements on model structure, the field of model-heterogeneous
personalized federated learning (MHPFL) has emerged. Existing MHPFL approaches
either rely on the availability of a public dataset with special
characteristics to facilitate knowledge transfer, incur high computation and
communication costs, or face potential model leakage risks. To address these
limitations, we propose a model-heterogeneous personalized Federated learning
approach based on feature Extractor Sharing (pFedES). It incorporates a small
homogeneous feature extractor into each client's heterogeneous local model.
Clients train them via the proposed iterative learning method to enable the
exchange of global generalized knowledge and local personalized knowledge. The
small local homogeneous extractors produced after local training are uploaded
to the FL server and for aggregation to facilitate easy knowledge sharing among
clients. We theoretically prove that pFedES can converge over wall-to-wall
time. Extensive experiments on two real-world datasets against six
state-of-the-art methods demonstrate that pFedES builds the most accurate
model, while incurring low communication and computation costs. Compared with
the best-performing baseline, it achieves 1.61% higher test accuracy, while
reducing communication and computation costs by 99.6% and 82.9%, respectively.
- Abstract（参考訳）: プライバシーを保全する機械学習パラダイムとして、フェデレーション学習(fl)は学界や業界からも大きな関心を集めている。
各データ所有者(FLクライアント)が、そのローカルデータ分布、システムリソース、モデル構造に対する要求に基づいて、異種でパーソナライズされたローカルモデルをトレーニングできるようにするため、モデル-異種パーソナライズド・フェデレーション・ラーニング(MHPFL)の分野が出現した。
既存のMHPFLアプローチは、知識伝達を促進するために特別な特徴を持つ公開データセットの可用性に頼るか、高い計算と通信コストを発生させるか、潜在的なモデル漏洩リスクに直面している。
これらの制限に対処するため,我々は特徴抽出子共有(pfedes)に基づくモデルヘテロジェンス型フェデレーション学習手法を提案する。
各クライアントのヘテロジニアスなローカルモデルに小さな均質な特徴抽出器を組み込む。
クライアントは提案した反復学習手法により、グローバルな一般化された知識とローカルなパーソナライズされた知識の交換を可能にする。
ローカルトレーニング後に生成された小さな局所同質抽出器をFLサーバにアップロードし、クライアント間の知識共有を容易にする。
理論的には、pFedESは壁面と壁面の間に収束できる。
6つの最先端手法に対する2つの実世界のデータセットに対する大規模な実験は、pFedESが最も正確なモデルを構築し、通信と計算コストが低いことを示している。
最高性能のベースラインと比較して1.61%高いテスト精度を実現し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
関連論文リスト
- pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。
7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文 参考訳（メタデータ） (2024-04-27T09:52:59Z) - pFedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning [35.72303739409116]
そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。
共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。
全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
論文 参考訳（メタデータ） (2024-02-02T12:09:20Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA
Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。
我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。
2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文 参考訳（メタデータ） (2023-10-20T05:24:28Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳（メタデータ） (2023-05-04T12:21:34Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳（メタデータ） (2021-08-23T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。