論文の概要: The Impact of Cut Layer Selection in Split Federated Learning

• arxiv url: http://arxiv.org/abs/2412.15536v1
• Date: Fri, 20 Dec 2024 03:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:19:53.360327
• Title: The Impact of Cut Layer Selection in Split Federated Learning
• Title（参考訳）: スプリットフェデレーション学習におけるカット層選択の影響
• Authors: Justin Dachille, Chao Huang, Xin Liu,
• Abstract要約: Split Federated Learning (SFL)は、フェデレートラーニングとスプリットラーニングを組み合わせた分散機械学習パラダイムである。 SFLでは、ニューラルネットワークをカット層に分割し、最初のレイヤをクライアントにデプロイし、残りのレイヤをトレーニングサーバに配置する。
• 参考スコア（独自算出の注目度）: 6.481423646861632
• License:
• Abstract: Split Federated Learning (SFL) is a distributed machine learning paradigm that combines federated learning and split learning. In SFL, a neural network is partitioned at a cut layer, with the initial layers deployed on clients and remaining layers on a training server. There are two main variants of SFL: SFL-V1 where the training server maintains separate server-side models for each client, and SFL-V2 where the training server maintains a single shared model for all clients. While existing studies have focused on algorithm development for SFL, a comprehensive quantitative analysis of how the cut layer selection affects model performance remains unexplored. This paper addresses this gap by providing numerical and theoretical analysis of SFL performance and convergence relative to cut layer selection. We find that SFL-V1 is relatively invariant to the choice of cut layer, which is consistent with our theoretical results. Numerical experiments on four datasets and two neural networks show that the cut layer selection significantly affects the performance of SFL-V2. Moreover, SFL-V2 with an appropriate cut layer selection outperforms FedAvg on heterogeneous data.
• Abstract（参考訳）: Split Federated Learning (SFL)は、フェデレートラーニングとスプリットラーニングを組み合わせた分散機械学習パラダイムである。 SFLでは、ニューラルネットワークをカット層に分割し、最初のレイヤをクライアントにデプロイし、残りのレイヤをトレーニングサーバに配置する。 SFL-V1は、トレーニングサーバがクライアントごとに別々のサーバサイドモデルを維持するもので、SFL-V2は、トレーニングサーバがすべてのクライアントに対して単一の共有モデルを保持するものである。 既存の研究はSFLのアルゴリズム開発に重点を置いているが、カット層選択がモデル性能に与える影響を包括的に定量的に分析している。 本稿では,切削層選択に対するSFL性能と収束の数値的および理論的解析を提供することにより,このギャップに対処する。 SFL-V1 は切断層の選択と相対的に不変であり、これは我々の理論的結果と一致する。 4つのデータセットと2つのニューラルネットワークの数値実験により、カット層の選択がSFL-V2の性能に大きく影響を与えることが示された。 さらに、適切なカット層選択を行うSFL-V2は、異種データ上でFedAvgより優れる。

関連論文リスト

• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Convergence Analysis of Split Federated Learning on Heterogeneous Data [10.61370409320618]
  Split Learning(SFL)は、複数のクライアント間で協調的なモデルトレーニングを行うための、最近の分散アプローチである。 SFLでは、グローバルモデルは通常2つの部分に分割され、クライアントは1つの部分を並行的に訓練し、もう一方は他方を訓練する。 本研究では,SFLの収束解析を行い,不均一なデータに対する凸性および汎用性について述べる。
  論文  参考訳（メタデータ） (2024-02-23T07:59:23Z)
• Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning [51.02352381270177]
  Split Federated Learning (SFL)は、最近、有望な分散学習技術として登場した。 SFLにおけるカット層の選択は、クライアントのエネルギー消費とプライバシに大きな影響を与える可能性がある。 本稿では、SFLプロセスの概要を概観し、エネルギー消費とプライバシを徹底的に分析する。
  論文  参考訳（メタデータ） (2023-11-15T23:23:42Z)
• SplitFed resilience to packet loss: Where to split, that is the question [27.29876880765472]
  Split Federated Learning (SFL)は、FLにおける各クライアントに必要な計算パワーを削減し、プライバシを維持しながらSLを並列化することを目的としている。 本稿では,SFLの通信リンクにおけるパケット損失に対する堅牢性について検討する。 ヒト胚画像のセグメンテーションモデルを用いて実験を行い、より深い分割点の統計的に有意な利点を示す。
  論文  参考訳（メタデータ） (2023-07-25T22:54:47Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)
• SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。 本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
  論文  参考訳（メタデータ） (2020-04-25T08:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。