論文の概要: When MiniBatch SGD Meets SplitFed Learning:Convergence Analysis and Performance Evaluation

• arxiv url: http://arxiv.org/abs/2308.11953v1
• Date: Wed, 23 Aug 2023 06:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 15:28:26.969593
• Title: When MiniBatch SGD Meets SplitFed Learning:Convergence Analysis and Performance Evaluation
• Title（参考訳）: MiniBatch SGDがSplitFed Learningに出会ったとき:収束分析と性能評価
• Authors: Chao Huang, Geng Tian, Ming Tang
• Abstract要約: フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。 SplitFed Learning (SFL) は、クライアントデバイスにおける計算負荷を軽減するために、カット層でモデルを2つの部分に分割する手法である。 MiniBatch-SFLはMiniBatch SGDをSFLに組み込み、クライアントはFL方式でクライアントサイドモデルを訓練し、サーバはサーバサイドモデルを訓練する。
• 参考スコア（独自算出の注目度）: 9.815046814597238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables collaborative model training across distributed clients (e.g., edge devices) without sharing raw data. Yet, FL can be computationally expensive as the clients need to train the entire model multiple times. SplitFed learning (SFL) is a recent distributed approach that alleviates computation workload at the client device by splitting the model at a cut layer into two parts, where clients only need to train part of the model. However, SFL still suffers from the \textit{client drift} problem when clients' data are highly non-IID. To address this issue, we propose MiniBatch-SFL. This algorithm incorporates MiniBatch SGD into SFL, where the clients train the client-side model in an FL fashion while the server trains the server-side model similar to MiniBatch SGD. We analyze the convergence of MiniBatch-SFL and show that the bound of the expected loss can be obtained by analyzing the expected server-side and client-side model updates, respectively. The server-side updates do not depend on the non-IID degree of the clients' datasets and can potentially mitigate client drift. However, the client-side model relies on the non-IID degree and can be optimized by properly choosing the cut layer. Perhaps counter-intuitive, our empirical result shows that a latter position of the cut layer leads to a smaller average gradient divergence and a better algorithm performance. Moreover, numerical results show that MiniBatch-SFL achieves higher accuracy than conventional SFL and FL. The accuracy improvement can be up to 24.1\% and 17.1\% with highly non-IID data, respectively.
• Abstract（参考訳）: フェデレーション学習(fl)は、生データを共有することなく、分散クライアント(エッジデバイスなど)間で協調的なモデルトレーニングを可能にする。 しかし、クライアントはモデル全体を複数回トレーニングする必要があるため、flは計算コストがかかる可能性がある。 SplitFed Learning(SFL)は、クライアントデバイスにおける計算負荷を軽減するために、カットされたレイヤでモデルを2つの部分に分割することで、クライアントがモデルの一部をトレーニングするだけである。 しかし、SFLはクライアントのデータが非IIDである場合にも、textit{client drift}問題に悩まされている。 この問題に対処するため,MiniBatch-SFLを提案する。 このアルゴリズムはMiniBatch SGDをSFLに組み込み、クライアントはFL方式でクライアントサイドモデルを訓練し、サーバはMiniBatch SGDに似たサーバサイドモデルを訓練する。 本稿では,minibatch-sflの収束を解析し,期待するサーバ側およびクライアント側のモデル更新をそれぞれ解析することにより,期待損失の範囲を求める。 サーバ側の更新は、クライアントのデータセットの非IID度に依存しず、クライアントのドリフトを軽減できる可能性がある。 しかし、クライアント側モデルは非IID度に依存しており、カット層を適切に選択することで最適化できる。 おそらく直感に反し、我々の経験的結果は、カット層の後者の位置が平均勾配のばらつきを小さくし、より優れたアルゴリズム性能をもたらすことを示している。 さらに,MiniBatch-SFLは従来のSFLやFLよりも精度が高いことを示す。 精度の改善は、高い非IIDデータでそれぞれ24.1\%と17.1\%に達する。

関連論文リスト

• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients [0.5144809478361603]
  PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。 クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。 我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
  論文  参考訳（メタデータ） (2023-03-19T10:38:29Z)
• Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
  フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-03-18T09:45:58Z)
• Complement Sparsification: Low-Overhead Model Pruning for Federated Learning [2.0428960719376166]
  フェデレートラーニング(Federated Learning, FL)は、プライバシに保護された分散ディープラーニングパラダイムであり、かなりのコミュニケーションと計算作業を伴う。 既存のモデルプルーニング/スパーシフィケーションソリューションは、サーバとクライアント間の双方向通信のオーバーヘッドが低いという要求を満たすことができません。 我々は,サーバとクライアントで行う補完的かつ協調的なプルーニングを通じて,これらの要求を満たすプルーニング機構であるComplement Sparsification (CS)を提案する。
  論文  参考訳（メタデータ） (2023-03-10T23:07:02Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。