論文の概要: FedMR: Federated Learning via Model Recombination
- arxiv url: http://arxiv.org/abs/2305.10730v1
- Date: Thu, 18 May 2023 05:58:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 16:42:14.496285
- Title: FedMR: Federated Learning via Model Recombination
- Title(参考訳): fedmr:モデル再結合による連合学習
- Authors: Ming Hu and Zhihao Yue and Zhiwei Ling and Yihao Huang and Cheng Chen
and Xian Wei and Yang Liu and Mingsong Chen
- Abstract要約: Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現します。
我々はFedMR(Federated Model Recombination)という新しい効果的なFLパラダイムを提案する。
従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。
- 参考スコア(独自算出の注目度): 12.641005501252467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Federated Learning (FL) enables global model training across clients
without compromising their raw data, existing Federated Averaging
(FedAvg)-based methods suffer from the problem of low inference performance,
especially for unevenly distributed data among clients. This is mainly because
i) FedAvg initializes client models with the same global models, which makes
the local training hard to escape from the local search for optimal solutions;
and ii) by averaging model parameters in a coarse manner, FedAvg eclipses the
individual characteristics of local models. To address such issues that
strongly limit the inference capability of FL, we propose a novel and effective
FL paradigm named FedMR (Federated Model Recombination). Unlike conventional
FedAvg-based methods, the cloud server of FedMR shuffles each layer of
collected local models and recombines them to achieve new models for local
training on clients. Due to the diversified initialization models for clients
coupled with fine-grained model recombination, FedMR can converge to a
well-generalized global model for all the clients, leading to a superior
inference performance. Experimental results show that, compared with
state-of-the-art FL methods, FedMR can significantly improve inference accuracy
in a quicker manner without exposing client privacy.
- Abstract(参考訳): Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現しているが、既存のFederated Averaging(FedAvg)ベースのメソッドは、特にクライアント間の不均一な分散データに対して、低い推論性能の問題に悩まされている。
これは主に
一)FedAvgは、同じグローバルモデルでクライアントモデルを初期化することにより、ローカルな学習を最適解の探索から逃れるのを困難にする。
二 モデルパラメータを粗い方法で平均化することにより、FedAvgは局所モデルの個々の特性を上回ります。
本稿では,FLの推論能力を強く制限する問題に対処するため,FedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。
従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。
細粒度のモデル組換えと結合したクライアントの初期化モデルにより、FedMRはすべてのクライアントに対して十分に一般化されたグローバルモデルに収束し、推論性能が向上する。
実験の結果,最新のFL法と比較して,FedMRはクライアントのプライバシを公開することなく,推論精度を大幅に向上させることができることがわかった。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-21T20:12:27Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳(メタデータ) (2022-11-07T11:12:57Z) - FedCross: Towards Accurate Federated Learning via Multi-Model Cross
Aggregation [8.57349615028429]
フェデレートラーニング(FL)は、データサイロ問題に対処するための有望な分散機械学習パラダイムであると考えられている。
本稿では,FedCrossという名前の効率的なFLフレームワークを提案する。
FLトレーニングの各ラウンドでは、FedCrossはモデル類似性のガイダンスの下で重み付き融合を行うために、小さな中間モデルのセットを使用する。
論文 参考訳(メタデータ) (2022-10-15T13:12:11Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳(メタデータ) (2022-08-16T11:30:19Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。