論文の概要: Boosting Federated Learning Convergence with Prototype Regularization
- arxiv url: http://arxiv.org/abs/2307.10575v1
- Date: Thu, 20 Jul 2023 04:35:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 14:48:56.805180
- Title: Boosting Federated Learning Convergence with Prototype Regularization
- Title(参考訳): プロトタイプ正規化による連合学習収束の促進
- Authors: Yu Qiao, Huy Q. Le, Choong Seon Hong
- Abstract要約: 本稿では,クライアント間の異種データ分散に対処するプロトタイプベースの正規化戦略を提案する。
MNISTとFashion-MNISTの実験結果から,提案手法は平均テスト精度が3.3%,8.9%向上したことがわかった。
- 参考スコア(独自算出の注目度): 46.23872011375391
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As a distributed machine learning technique, federated learning (FL) requires
clients to collaboratively train a shared model with an edge server without
leaking their local data. However, the heterogeneous data distribution among
clients often leads to a decrease in model performance. To tackle this issue,
this paper introduces a prototype-based regularization strategy to address the
heterogeneity in the data distribution. Specifically, the regularization
process involves the server aggregating local prototypes from distributed
clients to generate a global prototype, which is then sent back to the
individual clients to guide their local training. The experimental results on
MNIST and Fashion-MNIST show that our proposal achieves improvements of 3.3%
and 8.9% in average test accuracy, respectively, compared to the most popular
baseline FedAvg. Furthermore, our approach has a fast convergence rate in
heterogeneous settings.
- Abstract(参考訳): 分散機械学習技術として、フェデレートラーニング(FL)では、クライアントがローカルデータをリークすることなく、エッジサーバで共有モデルを共同でトレーニングする必要がある。
しかし、クライアント間での不均一なデータ分散は、しばしばモデルの性能を低下させる。
そこで本研究では,データ分布の不均一性に対処するプロトタイプベースの正規化戦略を提案する。
具体的には、正規化プロセスでは、サーバが分散クライアントからローカルプロトタイプを集約してグローバルプロトタイプを生成し、それを個々のクライアントに送信して、ローカルトレーニングをガイドする。
MNISTとFashion-MNISTの実験結果から,最も人気のあるベースラインであるFedAvgと比較して平均テスト精度は3.3%,8.9%向上した。
さらに,本手法は不均一な環境での収束速度が速い。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous
Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。
本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。
我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文 参考訳(メタデータ) (2023-05-31T07:00:42Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T04:06:29Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳(メタデータ) (2022-09-21T17:37:54Z) - Anomaly Detection through Unsupervised Federated Learning [0.0]
フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。
本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。
結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
論文 参考訳(メタデータ) (2022-09-09T08:45:47Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-11-17T19:40:07Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。