論文の概要: Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients
- arxiv url: http://arxiv.org/abs/2201.10899v1
- Date: Wed, 26 Jan 2022 12:33:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 13:31:11.724442
- Title: Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients
- Title（参考訳）: 逐次学習による不均一フェデレーション学習の高速化
- Authors: Riccardo Zaccone, Andrea Rizzardi, Debora Caldarola, Marco Ciccone,
Barbara Caputo
- Abstract要約: フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。
このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。
我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
- 参考スコア（独自算出の注目度）: 19.496278017418113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) allows training machine learning models in
privacy-constrained scenarios by enabling the cooperation of edge devices
without requiring local data sharing. This approach raises several challenges
due to the different statistical distribution of the local datasets and the
clients' computational heterogeneity. In particular, the presence of highly
non-i.i.d. data severely impairs both the performance of the trained neural
network and its convergence rate, increasing the number of communication rounds
requested to reach a performance comparable to that of the centralized
scenario. As a solution, we propose FedSeq, a novel framework leveraging the
sequential training of subgroups of heterogeneous clients, i.e. superclients,
to emulate the centralized paradigm in a privacy-compliant way. Given a fixed
budget of communication rounds, we show that FedSeq outperforms or match
several state-of-the-art federated algorithms in terms of final performance and
speed of convergence. Finally, our method can be easily integrated with other
approaches available in the literature. Empirical results show that combining
existing algorithms with FedSeq further improves its final performance and
convergence speed. We test our method on CIFAR-10 and CIFAR-100 and prove its
effectiveness in both i.i.d. and non-i.i.d. scenarios.
- Abstract（参考訳）: federated learning(fl)は、ローカルデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約されたシナリオでマシンラーニングモデルをトレーニング可能にする。
このアプローチは、ローカルデータセットの統計分布とクライアントの計算の不均一性が異なるため、いくつかの課題を提起する。
特に、高度に非I.d.データの存在は、トレーニングされたニューラルネットワークのパフォーマンスと収束率の両方を著しく損なうため、集中的なシナリオに匹敵するパフォーマンスに達するために要求される通信ラウンドの数を増やします。
提案するFedSeqは,ヘテロジニアスなクライアント,すなわちスーパークオリアンのサブグループのシーケンシャルトレーニングを利用して,集中型パラダイムをプライバシに適合した方法でエミュレートするフレームワークである。
通信ラウンドの固定予算を考えると、FedSeqは最終的な性能と収束速度の観点から、いくつかの最先端のフェデレーションアルゴリズムより優れ、あるいは適合していることを示す。
最後に,本手法は文献で利用可能な他の手法と容易に統合できる。
実験の結果、既存のアルゴリズムとFedSeqを組み合わせることで、最終的な性能と収束速度がさらに向上することが示された。
我々は,CIFAR-10 と CIFAR-100 で本手法を試験し,その実効性を示す。
関連論文リスト
- Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - Investigation of Federated Learning Algorithms for Retinal Optical
Coherence Tomography Image Classification with Statistical Heterogeneity [6.318288071829899]
我々は,OCT画像分類モデルを分散的に学習するためのFedAvgとFedProxの有効性を検討した。
IID と Non-IID 設定で複数のクライアントに公開可能な OCT データセットを分割し,各クライアントのサブセットをローカルにトレーニングした。
論文 参考訳（メタデータ） (2024-02-15T15:58:42Z) - FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous
Client Devices using a Computing Power Aware Scheduler [5.550660753625296]
クロスサイロフェデレーション学習は、ローカルデータセットのプライバシを損なうことなく、AIモデルを協調的にトレーニングする、有望なソリューションを提供する。
本稿では,サーバ側で計算パワースケジューラを組み込んだ,半同期型フェデレーション学習アルゴリズムを提案する。
上位クライアントでフェデレート学習を行う場合,Fedは他のアルゴリズムよりも高速な収束と精度を実現することを示す。
論文 参考訳（メタデータ） (2023-09-26T05:03:13Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。
FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。
本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文 参考訳（メタデータ） (2023-06-28T18:52:27Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - Communication-Efficient Federated Learning With Data and Client
Heterogeneity [22.432529149142976]
Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。
FLを大規模に実行するには、本質的に実践的な課題が伴う。
従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
論文 参考訳（メタデータ） (2022-06-20T22:39:39Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Fairness and Accuracy in Federated Learning [17.218814060589956]
本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。
二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-18T06:28:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。