論文の概要: Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants
- arxiv url: http://arxiv.org/abs/2307.15870v2
- Date: Fri, 10 Nov 2023 11:05:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 17:50:58.207187
- Title: Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants
- Title(参考訳): 不均一参加者に対する効果的な半教師付き連合学習
- Authors: Zhipeng Sun, Yang Xu, Hongli Xu, Zhiyuan Wang, Yunming Liao
- Abstract要約: そこで本研究では,SFLをクラスタリング正規化して,未ラベルおよび非IIDクライアントデータを用いたより実践的なシナリオ下でSFLを実行する,新しいセミSFLシステムを提案する。
我々のシステムは、トレーニングデータセットの3.0倍のスピードアップを提供し、通信コストを目標精度まで約70.3%削減する。
- 参考スコア(独自算出の注目度): 23.664515443297674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has emerged to allow multiple clients to
collaboratively train machine learning models on their private data. However,
training and deploying large-scale models on resource-constrained clients is
challenging. Fortunately, Split Federated Learning (SFL) offers a feasible
solution by alleviating the computation and/or communication burden on clients.
However, existing SFL works often assume sufficient labeled data on clients,
which is usually impractical. Besides, data non-IIDness across clients poses
another challenge to ensure efficient model training. To our best knowledge,
the above two issues have not been simultaneously addressed in SFL. Herein, we
propose a novel Semi-SFL system, which incorporates clustering regularization
to perform SFL under the more practical scenario with unlabeled and non-IID
client data. Moreover, our theoretical and experimental investigations into
model convergence reveal that the inconsistent training processes on labeled
and unlabeled data have an influence on the effectiveness of clustering
regularization. To this end, we develop a control algorithm for dynamically
adjusting the global updating frequency, so as to mitigate the training
inconsistency and improve training performance. Extensive experiments on
benchmark models and datasets show that our system provides a 3.0x speed-up in
training time and reduces the communication cost by about 70.3% while reaching
the target accuracy, and achieves up to 5.1% improvement in accuracy under
non-IID scenarios compared to the state-of-the-art baselines.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、複数のクライアントがプライベートデータ上で協調的に機械学習モデルをトレーニングできるようにする。
しかし、リソース制約のあるクライアントでの大規模モデルのトレーニングとデプロイは困難である。
幸運にも、slit federated learning(sfl)は、クライアントの計算と通信の負担を軽減することで、実現可能なソリューションを提供する。
しかし、既存のSFLの作業はクライアントに十分なラベル付きデータを仮定することが多い。
さらに、クライアント間のデータ非IIDnessは、効率的なモデルトレーニングを保証するための別の課題となる。
我々の知る限り、上記の2つの問題はSFLでは同時に解決されていない。
そこで本研究では,クラスタリングの正規化を取り入れた新しいセミSFLシステムを提案し,非ラベル付きおよび非IIDクライアントデータを用いたより実用的なシナリオ下でSFLを実行する。
さらに,モデル収束に関する理論的および実験的研究により,ラベル付きデータおよびラベルなしデータに対する一貫性のないトレーニングプロセスがクラスタリング正規化の有効性に影響を及ぼすことが明らかとなった。
そこで我々は,トレーニングの不整合を緩和し,トレーニング性能を向上させるために,グローバル更新頻度を動的に調整する制御アルゴリズムを開発した。
ベンチマークモデルとデータセットに関する広範な実験により,本システムはトレーニング時間の3.0倍のスピードアップを提供し,目標精度に達すると通信コストを約70.3%削減し,最先端のベースラインと比較して最大5.1%の精度向上を達成していることが示された。
関連論文リスト
- FedClust: Optimizing Federated Learning on Non-IID Data through
Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。
本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文 参考訳(メタデータ) (2024-03-07T01:50:36Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-26T08:13:22Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-30T04:03:31Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳(メタデータ) (2020-12-24T01:43:53Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳(メタデータ) (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。