論文の概要: NeFL: Nested Federated Learning for Heterogeneous Clients
- arxiv url: http://arxiv.org/abs/2308.07761v2
- Date: Mon, 9 Oct 2023 05:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 04:50:25.402927
- Title: NeFL: Nested Federated Learning for Heterogeneous Clients
- Title(参考訳): nefl:異種顧客のための入れ子型フェデレート学習
- Authors: Honggu Kang, Seohyeon Cha, Jinwoo Shin, Jongmyeong Lee, Joonhyuk Kang
- Abstract要約: フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
- 参考スコア(独自算出の注目度): 48.160716521203256
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated learning (FL) is a promising approach in distributed learning
keeping privacy. However, during the training pipeline of FL, slow or incapable
clients (i.e., stragglers) slow down the total training time and degrade
performance. System heterogeneity, including heterogeneous computing and
network bandwidth, has been addressed to mitigate the impact of stragglers.
Previous studies tackle the system heterogeneity by splitting a model into
submodels, but with less degree-of-freedom in terms of model architecture. We
propose nested federated learning (NeFL), a generalized framework that
efficiently divides a model into submodels using both depthwise and widthwise
scaling. NeFL is implemented by interpreting forward propagation of models as
solving ordinary differential equations (ODEs) with adaptive step sizes. To
address the inconsistency that arises when training multiple submodels of
different architecture, we decouple a few parameters from parameters being
trained for each submodel. NeFL enables resource-constrained clients to
effectively join the FL pipeline and the model to be trained with a larger
amount of data. Through a series of experiments, we demonstrate that NeFL leads
to significant performance gains, especially for the worst-case submodel.
Furthermore, we demonstrate NeFL aligns with recent studies in FL, regarding
pre-trained models of FL and the statistical heterogeneity.
- Abstract(参考訳): 連合学習(federated learning、fl)は、プライバシを維持する分散学習において有望なアプローチである。
しかしながら、flのトレーニングパイプラインの間、遅いまたは不可能なクライアント(すなわちストラグラー)は、全体のトレーニング時間を遅くし、パフォーマンスを低下させる。
異種コンピューティングやネットワーク帯域幅を含むシステム不均一性は、ストラグラーの影響を軽減するために対処されてきた。
従来の研究は、モデルをサブモデルに分割することでシステムの不均一性に取り組むが、モデルアーキテクチャの観点からは自由度は低い。
本稿では,奥行きスケーリングと幅方向スケーリングの両方を用いて,モデルを効率的にサブモデルに分割する汎用フレームワークであるnested federated learning (nefl)を提案する。
NeFLは、モデルの前方伝播を通常の微分方程式(ODE)を適応的なステップサイズで解くものとして解釈することで実現される。
異なるアーキテクチャの複数のサブモデルをトレーニングする際に生じる矛盾に対処するため、各サブモデルのパラメータからいくつかのパラメータを分離する。
NeFLはリソース制約のあるクライアントがFLパイプラインとモデルを効果的に結合し、大量のデータでトレーニングすることを可能にする。
一連の実験を通して、NeFLは特に最悪のサブモデルにおいて、大幅な性能向上をもたらすことを示した。
さらに, FLの事前学習モデルと統計的不均一性について, FLにおける最近の研究とNeFLの整合性を示す。
関連論文リスト
- Have Your Cake and Eat It Too: Toward Efficient and Accurate Split
Federated Learning [26.74837829081963]
Split Federated Learning (SFL)は、AIoTシステムで有望である。
SFLは低い推測精度と低い効率の課題に悩まされている。
本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T05:09:50Z) - Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。
我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。
我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文 参考訳(メタデータ) (2023-05-29T22:51:40Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳(メタデータ) (2022-08-10T06:36:49Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳(メタデータ) (2022-01-27T08:43:11Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳(メタデータ) (2021-09-19T22:57:23Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳(メタデータ) (2020-06-05T07:10:22Z) - Federated learning with hierarchical clustering of local updates to
improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文 参考訳(メタデータ) (2020-04-24T15:16:01Z) - TiFL: A Tier-based Federated Learning System [17.74678728280232]
フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。
従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。
我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
論文 参考訳(メタデータ) (2020-01-25T01:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。