論文の概要: Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants
- arxiv url: http://arxiv.org/abs/2307.15870v1
- Date: Sat, 29 Jul 2023 02:35:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 19:07:24.346852
- Title: Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants
- Title(参考訳): 不均一参加者に対する効果的な半教師付き連合学習
- Authors: Zhipeng Sun, Yang Xu, Hongli Xu, Zhiyuan Wang
- Abstract要約: Pseudo-Clustering Semi-SFLは,ラベル付きデータがサーバ上に存在するシナリオでモデルをトレーニングするための新しいシステムである。
本システムは,訓練時間の3.3倍の高速化を実現し,通信コストを目標精度まで約80.1%削減する。
- 参考スコア(独自算出の注目度): 21.286553617958056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has emerged to allow multiple clients to
collaboratively train machine learning models on their private data. However,
training and deploying large models for broader applications is challenging in
resource-constrained environments. Fortunately, Split Federated Learning (SFL)
offers an excellent solution by alleviating the computation and communication
burden on the clients SFL often assumes labeled data for local training on
clients, however, it is not the case in practice.Prior works have adopted
semi-supervised techniques for leveraging unlabeled data in FL, but data
non-IIDness poses another challenge to ensure training efficiency. Herein, we
propose Pseudo-Clustering Semi-SFL, a novel system for training models in
scenarios where labeled data reside on the server. By introducing Clustering
Regularization, model performance under data non-IIDness can be improved.
Besides, our theoretical and experimental investigations into model convergence
reveal that the inconsistent training processes on labeled and unlabeled data
impact the effectiveness of clustering regularization. Upon this, we develop a
control algorithm for global updating frequency adaptation, which dynamically
adjusts the number of supervised training iterations to mitigate the training
inconsistency. Extensive experiments on benchmark models and datasets show that
our system provides a 3.3x speed-up in training time and reduces the
communication cost by about 80.1% while reaching the target accuracy, and
achieves up to 6.9% improvement in accuracy under non-IID scenarios compared to
the state-of-the-art.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、複数のクライアントがプライベートデータ上で協調的に機械学習モデルをトレーニングできるようにする。
しかし、幅広いアプリケーションのための大規模モデルのトレーニングとデプロイは、リソース制約のある環境では困難である。
幸いにも、SFL(Split Federated Learning)は、クライアント上での計算と通信の負担を軽減することで優れたソリューションを提供する。SFLは、しばしばクライアント上でのローカルトレーニングのためのラベル付きデータを仮定するが、実際にはそうではない。
本稿では,ラベル付きデータがサーバ上に存在するシナリオにおいて,モデルをトレーニングするための新しいシステムであるpseudo-clustering semi-sflを提案する。
クラスタリング規則化を導入することで、データ非IIDness下でのモデルパフォーマンスを改善することができる。
さらに,モデル収束に関する理論的および実験的研究により,ラベル付きおよびラベル付きデータに対する一貫性のないトレーニングプロセスがクラスタリング正規化の有効性に影響を及ぼすことが明らかとなった。
そこで我々は,教師付きトレーニングイテレーションの数を動的に調整し,トレーニングの不整合を緩和する,グローバルな更新頻度適応のための制御アルゴリズムを開発した。
ベンチマークモデルとデータセットに関する広範囲な実験により,本システムはトレーニング時間の3.3倍のスピードアップを提供し,目標精度に達しながら通信コストを約80.1%削減し,非iidシナリオにおいて最大6.9%の精度向上を達成した。
関連論文リスト
- Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。
各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。
我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
論文 参考訳(メタデータ) (2024-05-07T08:44:29Z) - FedClust: Optimizing Federated Learning on Non-IID Data through
Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。
本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文 参考訳(メタデータ) (2024-03-07T01:50:36Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-26T08:13:22Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-30T04:03:31Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳(メタデータ) (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。