論文の概要: Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design
- arxiv url: http://arxiv.org/abs/2110.13388v1
- Date: Tue, 26 Oct 2021 03:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 15:21:10.401114
- Title: Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design
- Title(参考訳): 非IIDデータを用いた半教師付きフェデレーション学習:アルゴリズムとシステム設計
- Authors: Zhe Zhang, Shiyao Ma, Jiangtian Nie, Yi Wu, Qiang Yan, Xiaoke Xu and
Dusit Niyato
- Abstract要約: フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。
クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID)
本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
- 参考スコア(独自算出の注目度): 42.63120623012093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) allows edge devices (or clients) to keep data locally
while simultaneously training a shared high-quality global model. However,
current research is generally based on an assumption that the training data of
local clients have ground-truth. Furthermore, FL faces the challenge of
statistical heterogeneity, i.e., the distribution of the client's local
training data is non-independent identically distributed (non-IID). In this
paper, we present a robust semi-supervised FL system design, where the system
aims to solve the problem of data availability and non-IID in FL. In
particular, this paper focuses on studying the labels-at-server scenario where
there is only a limited amount of labeled data on the server and only unlabeled
data on the clients. In our system design, we propose a novel method to tackle
the problems, which we refer to as Federated Mixing (FedMix). FedMix improves
the naive combination of FL and semi-supervised learning methods and designs
parameter decomposition strategies for disjointed learning of labeled,
unlabeled data, and global models. To alleviate the non-IID problem, we propose
a novel aggregation rule based on the frequency of the client's participation
in training, namely the FedFreq aggregation algorithm, which can adjust the
weight of the corresponding local model according to this frequency. Extensive
evaluations conducted on CIFAR-10 dataset show that the performance of our
proposed method is significantly better than those of the current baseline. It
is worth noting that our system is robust to different non-IID levels of client
data.
- Abstract(参考訳): フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に高品質なグローバルモデルをトレーニングすることを可能にする。
しかし、現在の研究は一般的に、現地のクライアントのトレーニングデータが真面目であるという仮定に基づいている。
さらに、flは、統計的不均一性の課題、すなわち、クライアントのローカルトレーニングデータの分布は、非独立な同一分散(非iid)である。
本稿では,FLにおけるデータ可用性と非IIDの問題を解決することを目的とした,堅牢な半教師付きFLシステム設計を提案する。
特に本稿では,サーバ上のラベル付きデータとクライアント上のラベル付きデータのみを限定する,ラベル付きサーバのシナリオについて検討する。
本システム設計では,フェデレート混合 (fedmix) と呼ばれる問題に対処する新しい手法を提案する。
FedMix は、FL と半教師付き学習手法の単純な組み合わせを改善し、ラベル付き、ラベルなし、グローバルなモデルの解離学習のためのパラメータ分解戦略を設計する。
非iid問題を緩和するため,我々は,その頻度に応じて対応する局所モデルの重みを調整可能なfeedfreqアグリゲーションアルゴリズムという,クライアントのトレーニング参加頻度に基づく新しいアグリゲーションルールを提案する。
CIFAR-10データセットを総合評価した結果,提案手法の性能は現在のベースラインよりも有意に向上した。
当社のシステムは,非IIDレベルのクライアントデータに対して堅牢である点に注意が必要だ。
関連論文リスト
- FedClust: Optimizing Federated Learning on Non-IID Data through
Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。
本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文 参考訳(メタデータ) (2024-03-07T01:50:36Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳(メタデータ) (2023-05-01T11:12:37Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-03-02T01:39:16Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳(メタデータ) (2022-08-04T04:24:16Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳(メタデータ) (2021-12-28T18:13:09Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳(メタデータ) (2021-07-01T06:14:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。