論文の概要: Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design

• arxiv url: http://arxiv.org/abs/2110.13388v1
• Date: Tue, 26 Oct 2021 03:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 15:21:10.401114
• Title: Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design
• Title（参考訳）: 非IIDデータを用いた半教師付きフェデレーション学習:アルゴリズムとシステム設計
• Authors: Zhe Zhang, Shiyao Ma, Jiangtian Nie, Yi Wu, Qiang Yan, Xiaoke Xu and Dusit Niyato
• Abstract要約: フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。 クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID) 本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
• 参考スコア（独自算出の注目度）: 42.63120623012093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) allows edge devices (or clients) to keep data locally while simultaneously training a shared high-quality global model. However, current research is generally based on an assumption that the training data of local clients have ground-truth. Furthermore, FL faces the challenge of statistical heterogeneity, i.e., the distribution of the client's local training data is non-independent identically distributed (non-IID). In this paper, we present a robust semi-supervised FL system design, where the system aims to solve the problem of data availability and non-IID in FL. In particular, this paper focuses on studying the labels-at-server scenario where there is only a limited amount of labeled data on the server and only unlabeled data on the clients. In our system design, we propose a novel method to tackle the problems, which we refer to as Federated Mixing (FedMix). FedMix improves the naive combination of FL and semi-supervised learning methods and designs parameter decomposition strategies for disjointed learning of labeled, unlabeled data, and global models. To alleviate the non-IID problem, we propose a novel aggregation rule based on the frequency of the client's participation in training, namely the FedFreq aggregation algorithm, which can adjust the weight of the corresponding local model according to this frequency. Extensive evaluations conducted on CIFAR-10 dataset show that the performance of our proposed method is significantly better than those of the current baseline. It is worth noting that our system is robust to different non-IID levels of client data.
• Abstract（参考訳）: フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に高品質なグローバルモデルをトレーニングすることを可能にする。 しかし、現在の研究は一般的に、現地のクライアントのトレーニングデータが真面目であるという仮定に基づいている。 さらに、flは、統計的不均一性の課題、すなわち、クライアントのローカルトレーニングデータの分布は、非独立な同一分散(非iid)である。 本稿では,FLにおけるデータ可用性と非IIDの問題を解決することを目的とした,堅牢な半教師付きFLシステム設計を提案する。 特に本稿では,サーバ上のラベル付きデータとクライアント上のラベル付きデータのみを限定する,ラベル付きサーバのシナリオについて検討する。 本システム設計では,フェデレート混合 (fedmix) と呼ばれる問題に対処する新しい手法を提案する。 FedMix は、FL と半教師付き学習手法の単純な組み合わせを改善し、ラベル付き、ラベルなし、グローバルなモデルの解離学習のためのパラメータ分解戦略を設計する。 非iid問題を緩和するため,我々は,その頻度に応じて対応する局所モデルの重みを調整可能なfeedfreqアグリゲーションアルゴリズムという,クライアントのトレーニング参加頻度に基づく新しいアグリゲーションルールを提案する。 CIFAR-10データセットを総合評価した結果,提案手法の性能は現在のベースラインよりも有意に向上した。 当社のシステムは,非IIDレベルのクライアントデータに対して堅牢である点に注意が必要だ。

関連論文リスト

• A Framework for testing Federated Learning algorithms using an edge-like environment [0.0]
  フェデレーテッド・ラーニング(FL)は、多くのクライアントが、データをプライベートかつ分散化しながら、単一の集中型モデルを協調的にトレーニングする機械学習パラダイムである。 グローバル集中型モデルアグリゲーションにおける局所モデルの貢献を正確に評価するのは簡単ではない。 これはFLにおける大きな挑戦の例であり、一般にデータ不均衡またはクラス不均衡として知られている。 本研究では,FLアルゴリズムをより容易かつスケーラブルに評価するためのフレームワークを提案し,実装した。
  論文  参考訳（メタデータ） (2024-07-17T19:52:53Z)
• FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
  フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。 我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
  論文  参考訳（メタデータ） (2024-07-09T02:47:16Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• StatAvg: Mitigating Data Heterogeneity in Federated Learning for Intrusion Detection Systems [22.259297167311964]
  フェデレートラーニング(FL)は、デバイスが生データを第三者に公開することなく、共同で機械学習(ML)またはディープラーニング(DL)モデルを構築することができる分散学習技術である。 プライバシー保護の性質から、FLはサイバーセキュリティの領域内で侵入検知システム(IDS)を構築するために広く注目を集めている。 FLにおけるローカルクライアントのデータ間で,非独立かつ同一の(非ID)分散機能を緩和する,統計的平均化(StatAvg)と呼ばれる有効な手法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T14:41:59Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
  非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる 地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。 提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
  論文  参考訳（メタデータ） (2021-12-28T18:13:09Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。