論文の概要: NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients
- arxiv url: http://arxiv.org/abs/2308.07761v3
- Date: Tue, 10 Sep 2024 16:03:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 23:57:26.375880
- Title: NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients
- Title（参考訳）: NeFL: システムの不均一なクライアントによるフェデレーション学習のためのネストモデルスケーリング
- Authors: Honggu Kang, Seohyeon Cha, Jinwoo Shin, Jongmyeong Lee, Joonhyuk Kang,
- Abstract要約: フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
- 参考スコア（独自算出の注目度）: 44.89061671579694
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated learning (FL) enables distributed training while preserving data privacy, but stragglers-slow or incapable clients-can significantly slow down the total training time and degrade performance. To mitigate the impact of stragglers, system heterogeneity, including heterogeneous computing and network bandwidth, has been addressed. While previous studies have addressed system heterogeneity by splitting models into submodels, they offer limited flexibility in model architecture design, without considering potential inconsistencies arising from training multiple submodel architectures. We propose nested federated learning (NeFL), a generalized framework that efficiently divides deep neural networks into submodels using both depthwise and widthwise scaling. To address the inconsistency arising from training multiple submodel architectures, NeFL decouples a subset of parameters from those being trained for each submodel. An averaging method is proposed to handle these decoupled parameters during aggregation. NeFL enables resource-constrained devices to effectively participate in the FL pipeline, facilitating larger datasets for model training. Experiments demonstrate that NeFL achieves performance gain, especially for the worst-case submodel compared to baseline approaches (7.63% improvement on CIFAR-100). Furthermore, NeFL aligns with recent advances in FL, such as leveraging pre-trained models and accounting for statistical heterogeneity. Our code is available online.
- Abstract（参考訳）: フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
ストラグラーの影響を軽減するため、異種コンピューティングやネットワーク帯域幅を含むシステム不均一性に対処している。
従来の研究では、モデルをサブモデルに分割することで、システムの不均一性に対処してきたが、複数のサブモデルアーキテクチャのトレーニングから生じる潜在的な不整合を考慮せずに、モデルアーキテクチャ設計において限られた柔軟性を提供する。
深層ニューラルネットワークを深層スケールとワイドワイドスケーリングの両方を用いてサブモデルに効率的に分割する一般化されたフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
複数のサブモデルアーキテクチャのトレーニングから生じる矛盾に対処するため、NeFLは各サブモデルのためにトレーニングされているものからパラメータのサブセットを分離する。
集約中にこれらの疎結合パラメータを扱う平均化法を提案する。
NeFLはリソース制約のあるデバイスをFLパイプラインに効果的に参加させ、モデルトレーニングのためのより大きなデータセットを容易にする。
実験では、NeFLは、特にベースラインアプローチ(CIFAR-100の7.63%の改善)と比較して、パフォーマンス向上を実現している。
さらに、NeFLは、事前訓練されたモデルの活用や統計的不均一性の説明など、最近のFLの進歩と一致している。
私たちのコードはオンラインで利用可能です。
関連論文リスト
- Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - AdapterFL: Adaptive Heterogeneous Federated Learning for
Resource-constrained Mobile Computing Systems [24.013937378054074]
Federated Learning (FL)は、データ共有なしで大規模分散クライアントの協調学習を可能にする。
モバイルコンピューティングシステムは、協調学習のために小さな低パフォーマンスモデルしか利用できない。
我々は、大規模な異種モバイルデバイスの協調訓練を適応的に行うために、モデル再組み立て戦略を用いる。
論文 参考訳（メタデータ） (2023-11-23T14:42:43Z) - Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
Split Federated Learning (SFL)は、AIoTシステムで有望である。
SFLは低い推測精度と低い効率の課題に悩まされている。
本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T05:09:50Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - pFedSim: Similarity-Aware Model Aggregation Towards Personalized
Federated Learning [27.668944118750115]
モデルトレーニング中にデータのプライバシを保護するために、フェデレーション学習(FL)パラダイムが出現する。
FLの最大の課題の1つは、IID以外の(同一で、独立に分散されていない)データにある。
本稿では,モデル類似性に基づく新しいpFedSimアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-25T04:25:55Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳（メタデータ） (2022-11-08T09:58:36Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。