論文の概要: Convergence Analysis of Split Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2402.15166v2
• Date: Mon, 14 Oct 2024 04:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 17:54:29.755805
• Title: Convergence Analysis of Split Federated Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づく分散フェデレーション学習の収束解析
• Authors: Pengchao Han, Chao Huang, Geng Tian, Ming Tang, Xin Liu,
• Abstract要約: Split Learning(SFL)は、複数のクライアント間で協調的なモデルトレーニングを行うための、最近の分散アプローチである。 SFLでは、グローバルモデルは通常2つの部分に分割され、クライアントは1つの部分を並行的に訓練し、もう一方は他方を訓練する。 本研究では,SFLの収束解析を行い,不均一なデータに対する凸性および汎用性について述べる。
• 参考スコア（独自算出の注目度）: 10.61370409320618
• License:
• Abstract: Split federated learning (SFL) is a recent distributed approach for collaborative model training among multiple clients. In SFL, a global model is typically split into two parts, where clients train one part in a parallel federated manner, and a main server trains the other. Despite the recent research on SFL algorithm development, the convergence analysis of SFL is missing in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data. The convergence rates are $O(1/T)$ and $O(1/\sqrt[3]{T})$, respectively, where $T$ denotes the total number of rounds for SFL training. We further extend the analysis to non-convex objectives and the scenario where some clients may be unavailable during training. Experimental experiments validate our theoretical results and show that SFL outperforms FL and split learning (SL) when data is highly heterogeneous across a large number of clients.
• Abstract（参考訳）: Split Federated Learning (SFL)は、複数のクライアント間で協調的なモデルトレーニングを行うための分散アプローチである。 SFLでは、グローバルモデルは通常、クライアントが並列なフェデレーションで一方を訓練し、メインサーバがもう一方を訓練する2つの部分に分けられる。 SFLアルゴリズムの最近の研究にもかかわらず、本論文ではSFLの収束解析が欠落しており、このギャップを埋めることを目的としている。 SFLの分析は、クライアントとメインサーバで二重ペースで更新される可能性があるため、フェデレートドラーニング(FL)よりも難しい場合がある。 本研究では,SFL の収束解析を行い,不均一なデータに対する強凸および一般凸の目的について検討する。 収束率は、それぞれ$O(1/T)$と$O(1/\sqrt[3]{T})$である。 さらに、非凸目的と、トレーニング中に一部のクライアントが利用できないシナリオまで分析を拡張します。 実験により,SFLがFLとスプリットラーニング(SL)より優れていることを示す。

関連論文リスト

• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• Sharp Bounds for Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  学習にはパラレルFL(PFL)とシーケンシャルFL(SFL)の2つのパラダイムがある。 PFLとは対照的に、収束理論 SFL のデータはまだ不足している。 強凸, 一般凸, 逐次非直観的目的関数の上限を導出する。 上界SFLと不均一PFLデータとの比較を行った。
  論文  参考訳（メタデータ） (2024-05-02T09:58:49Z)
• MergeSFL: Split Federated Learning with Feature Merging and Batch Size Regulation [27.159538773609917]
  フェデレートラーニング(Federated Learning, FL)は、エッジコンピューティング(EC)システムにおいて、エッジAIが貴重な知識をマイニングするための技術である。 本稿では,機能統合とバッチサイズ制御をSFLに組み込んだ新しいSFLフレームワークMergeSFLを提案する。 我々は,MergeSFLが最終モデルの精度を5.82%から26.22%向上し,ベースラインに比べて約1.74倍から4.14倍のスピードアップが可能であることを示した。
  論文  参考訳（メタデータ） (2023-11-22T12:25:02Z)
• Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
  論文  参考訳（メタデータ） (2023-11-06T14:48:51Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• SplitFed resilience to packet loss: Where to split, that is the question [27.29876880765472]
  Split Federated Learning (SFL)は、FLにおける各クライアントに必要な計算パワーを削減し、プライバシを維持しながらSLを並列化することを目的としている。 本稿では,SFLの通信リンクにおけるパケット損失に対する堅牢性について検討する。 ヒト胚画像のセグメンテーションモデルを用いて実験を行い、より深い分割点の統計的に有意な利点を示す。
  論文  参考訳（メタデータ） (2023-07-25T22:54:47Z)
• Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
  フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
  論文  参考訳（メタデータ） (2023-02-08T14:37:34Z)
• Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
  我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。 我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
  論文  参考訳（メタデータ） (2022-09-27T02:12:43Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。