論文の概要: Achieving Personalized Federated Learning with Sparse Local Models
- arxiv url: http://arxiv.org/abs/2201.11380v1
- Date: Thu, 27 Jan 2022 08:43:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 14:00:53.714581
- Title: Achieving Personalized Federated Learning with Sparse Local Models
- Title（参考訳）: 疎局所モデルによる個人化フェデレーション学習の実現
- Authors: Tiansheng Huang, Shiwei Liu, Li Shen, Fengxiang He, Weiwei Lin, and
Dacheng Tao
- Abstract要約: フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
- 参考スコア（独自算出の注目度）: 75.76854544460981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is vulnerable to heterogeneously distributed data,
since a common global model in FL may not adapt to the heterogeneous data
distribution of each user. To counter this issue, personalized FL (PFL) was
proposed to produce dedicated local models for each individual user. However,
PFL is far from its maturity, because existing PFL solutions either demonstrate
unsatisfactory generalization towards different model architectures or cost
enormous extra computation and memory. In this work, we propose federated
learning with personalized sparse mask (FedSpa), a novel PFL scheme that
employs personalized sparse masks to customize sparse local models on the edge.
Instead of training an intact (or dense) PFL model, FedSpa only maintains a
fixed number of active parameters throughout training (aka sparse-to-sparse
training), which enables users' models to achieve personalization with cheap
communication, computation, and memory cost. We theoretically show that the
iterates obtained by FedSpa converge to the local minimizer of the formulated
SPFL problem at rate of $\mathcal{O}(\frac{1}{\sqrt{T}})$. Comprehensive
experiments demonstrate that FedSpa significantly saves communication and
computation costs, while simultaneously achieves higher model accuracy and
faster convergence speed against several state-of-the-art PFL methods.
- Abstract（参考訳）: flの共通グローバルモデルは、各ユーザの異種データ分布に適応できない可能性があるため、フェデレーション学習(fl)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
しかし、既存のPFLソリューションは異なるモデルアーキテクチャに対する不満足な一般化を示すか、余分な計算とメモリを犠牲にしている。
本研究では,パーソナライズされたスパースマスクを用いたフェデレーション学習(FedSpa)を提案する。
無傷(あるいは高密度)のPFLモデルをトレーニングする代わりに、FedSpaはトレーニング全体を通して一定の数のアクティブパラメータ(スパース・トゥ・スパーストレーニング)しか保持しないため、安価な通信、計算、メモリコストでパーソナライズを達成できる。
理論的には、FedSpaによって得られたイテレートは、定式化されたSPFL問題の局所最小化に$\mathcal{O}(\frac{1}{\sqrt{T}})$で収束する。
包括的実験により、FedSpaは通信コストと計算コストを大幅に削減し、同時に複数の最先端PFL法に対して高いモデル精度と高速収束速度を実現する。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA
Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。
我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。
2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文 参考訳（メタデータ） (2023-10-20T05:24:28Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳（メタデータ） (2023-03-19T06:00:05Z) - Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。
既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。
DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
論文 参考訳（メタデータ） (2023-02-08T14:37:34Z) - Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。
階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。
また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
論文 参考訳（メタデータ） (2022-03-25T09:06:42Z) - Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文 参考訳（メタデータ） (2021-06-24T14:17:00Z) - PFL-MoE: Personalized Federated Learning Based on Mixture of Experts [1.8757823231879849]
フェデレーションラーニング(FL)は、データプライバシーを保護するために、トレーニングノード間のデータ共有を避けます。
PFL-MoEは一般的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。
本稿では,Fashion-MNISTデータセット上でLeNet-5およびVGG-16モデルをトレーニングし,PFL-MoEの有効性を示す。
論文 参考訳（メタデータ） (2020-12-31T12:51:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。