論文の概要: Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants
- arxiv url: http://arxiv.org/abs/2307.15870v1
- Date: Sat, 29 Jul 2023 02:35:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 19:07:24.346852
- Title: Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants
- Title（参考訳）: 不均一参加者に対する効果的な半教師付き連合学習
- Authors: Zhipeng Sun, Yang Xu, Hongli Xu, Zhiyuan Wang
- Abstract要約: Pseudo-Clustering Semi-SFLは,ラベル付きデータがサーバ上に存在するシナリオでモデルをトレーニングするための新しいシステムである。
本システムは,訓練時間の3.3倍の高速化を実現し,通信コストを目標精度まで約80.1%削減する。
- 参考スコア（独自算出の注目度）: 21.286553617958056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has emerged to allow multiple clients to
collaboratively train machine learning models on their private data. However,
training and deploying large models for broader applications is challenging in
resource-constrained environments. Fortunately, Split Federated Learning (SFL)
offers an excellent solution by alleviating the computation and communication
burden on the clients SFL often assumes labeled data for local training on
clients, however, it is not the case in practice.Prior works have adopted
semi-supervised techniques for leveraging unlabeled data in FL, but data
non-IIDness poses another challenge to ensure training efficiency. Herein, we
propose Pseudo-Clustering Semi-SFL, a novel system for training models in
scenarios where labeled data reside on the server. By introducing Clustering
Regularization, model performance under data non-IIDness can be improved.
Besides, our theoretical and experimental investigations into model convergence
reveal that the inconsistent training processes on labeled and unlabeled data
impact the effectiveness of clustering regularization. Upon this, we develop a
control algorithm for global updating frequency adaptation, which dynamically
adjusts the number of supervised training iterations to mitigate the training
inconsistency. Extensive experiments on benchmark models and datasets show that
our system provides a 3.3x speed-up in training time and reduces the
communication cost by about 80.1% while reaching the target accuracy, and
achieves up to 6.9% improvement in accuracy under non-IID scenarios compared to
the state-of-the-art.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、複数のクライアントがプライベートデータ上で協調的に機械学習モデルをトレーニングできるようにする。
しかし、幅広いアプリケーションのための大規模モデルのトレーニングとデプロイは、リソース制約のある環境では困難である。
幸いにも、SFL(Split Federated Learning)は、クライアント上での計算と通信の負担を軽減することで優れたソリューションを提供する。SFLは、しばしばクライアント上でのローカルトレーニングのためのラベル付きデータを仮定するが、実際にはそうではない。
本稿では,ラベル付きデータがサーバ上に存在するシナリオにおいて,モデルをトレーニングするための新しいシステムであるpseudo-clustering semi-sflを提案する。
クラスタリング規則化を導入することで、データ非IIDness下でのモデルパフォーマンスを改善することができる。
さらに,モデル収束に関する理論的および実験的研究により,ラベル付きおよびラベル付きデータに対する一貫性のないトレーニングプロセスがクラスタリング正規化の有効性に影響を及ぼすことが明らかとなった。
そこで我々は,教師付きトレーニングイテレーションの数を動的に調整し,トレーニングの不整合を緩和する,グローバルな更新頻度適応のための制御アルゴリズムを開発した。
ベンチマークモデルとデータセットに関する広範囲な実験により,本システムはトレーニング時間の3.3倍のスピードアップを提供し,目標精度に達しながら通信コストを約80.1%削減し,非iidシナリオにおいて最大6.9%の精度向上を達成した。
関連論文リスト
- FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - HierSFL: Local Differential Privacy-aided Split Federated Learning in
Mobile Edge Computing [7.180235086275924]
フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。
Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。
この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。
我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
論文 参考訳（メタデータ） (2024-01-16T09:34:10Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-03-02T01:39:16Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-26T08:13:22Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design [42.63120623012093]
フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。
クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID)
本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
論文 参考訳（メタデータ） (2021-10-26T03:41:48Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。
本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。
上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
論文 参考訳（メタデータ） (2021-06-17T12:30:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。