論文の概要: NeFL: Nested Federated Learning for Heterogeneous Clients
- arxiv url: http://arxiv.org/abs/2308.07761v1
- Date: Tue, 15 Aug 2023 13:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 12:51:26.033976
- Title: NeFL: Nested Federated Learning for Heterogeneous Clients
- Title(参考訳): nefl:異種顧客のための入れ子型フェデレート学習
- Authors: Honggu Kang, Seohyeon Cha, Jinwoo Shin, Jongmyeong Lee, Joonhyuk Kang
- Abstract要約: フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
- 参考スコア(独自算出の注目度): 48.160716521203256
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated learning (FL) is a promising approach in distributed learning
keeping privacy. However, during the training pipeline of FL, slow or incapable
clients (i.e., stragglers) slow down the total training time and degrade
performance. System heterogeneity, including heterogeneous computing and
network bandwidth, has been addressed to mitigate the impact of stragglers.
Previous studies split models to tackle the issue, but with less
degree-of-freedom in terms of model architecture. We propose nested federated
learning (NeFL), a generalized framework that efficiently divides a model into
submodels using both depthwise and widthwise scaling. NeFL is implemented by
interpreting models as solving ordinary differential equations (ODEs) with
adaptive step sizes. To address the inconsistency that arises when training
multiple submodels with different architecture, we decouple a few parameters.
NeFL enables resource-constrained clients to effectively join the FL pipeline
and the model to be trained with a larger amount of data. Through a series of
experiments, we demonstrate that NeFL leads to significant gains, especially
for the worst-case submodel (e.g., 8.33 improvement on CIFAR-10). Furthermore,
we demonstrate NeFL aligns with recent studies in FL.
- Abstract(参考訳): 連合学習(federated learning、fl)は、プライバシを維持する分散学習において有望なアプローチである。
しかしながら、flのトレーニングパイプラインの間、遅いまたは不可能なクライアント(すなわちストラグラー)は、全体のトレーニング時間を遅くし、パフォーマンスを低下させる。
異種コンピューティングやネットワーク帯域幅を含むシステム不均一性は、ストラグラーの影響を軽減するために対処されてきた。
以前の研究では、この問題に取り組むためにモデルを分割したが、モデルアーキテクチャの観点からは自由度は低い。
本稿では,奥行きスケーリングと幅方向スケーリングの両方を用いて,モデルを効率的にサブモデルに分割する汎用フレームワークであるnested federated learning (nefl)を提案する。
NeFLは、モデルを通常の微分方程式(ODE)を適応的なステップサイズで解くものとして解釈することで実装される。
異なるアーキテクチャで複数のサブモデルをトレーニングする際に生じる矛盾に対処するために、いくつかのパラメータを分離する。
NeFLはリソース制約のあるクライアントがFLパイプラインとモデルを効果的に結合し、大量のデータでトレーニングすることを可能にする。
一連の実験を通じて、NeFLは特に最悪のサブモデル(CIFAR-10の8.33の改善など)において大きな利益をもたらすことを示した。
さらに,最近のFL研究とNeFLの整合性を示す。
関連論文リスト
- Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳(メタデータ) (2024-03-27T09:14:36Z) - Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
Split Federated Learning (SFL)は、AIoTシステムで有望である。
SFLは低い推測精度と低い効率の課題に悩まされている。
本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T05:09:50Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳(メタデータ) (2022-08-10T06:36:49Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳(メタデータ) (2022-01-27T08:43:11Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳(メタデータ) (2021-09-19T22:57:23Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳(メタデータ) (2020-06-05T07:10:22Z) - Federated learning with hierarchical clustering of local updates to
improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文 参考訳(メタデータ) (2020-04-24T15:16:01Z) - TiFL: A Tier-based Federated Learning System [17.74678728280232]
フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。
従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。
我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
論文 参考訳(メタデータ) (2020-01-25T01:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。