論文の概要: MergeSFL: Split Federated Learning with Feature Merging and Batch Size
Regulation
- arxiv url: http://arxiv.org/abs/2311.13348v1
- Date: Wed, 22 Nov 2023 12:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 15:19:21.465267
- Title: MergeSFL: Split Federated Learning with Feature Merging and Batch Size
Regulation
- Title（参考訳）: mergesfl: 機能マージとバッチサイズ調整を備えた分割フェデレーション学習
- Authors: Yunming Liao, Yang Xu, Hongli Xu, Lun Wang, Zhiwei Yao, Chunming Qiao
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、エッジコンピューティング(EC)システムにおいて、エッジAIが貴重な知識をマイニングするための技術である。
本稿では,機能統合とバッチサイズ制御をSFLに組み込んだ新しいSFLフレームワークMergeSFLを提案する。
我々は,MergeSFLが最終モデルの精度を5.82%から26.22%向上し,ベースラインに比べて約1.74倍から4.14倍のスピードアップが可能であることを示した。
- 参考スコア（独自算出の注目度）: 28.778676984276224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, federated learning (FL) has emerged as a popular technique for edge
AI to mine valuable knowledge in edge computing (EC) systems. To mitigate the
computing/communication burden on resource-constrained workers and protect
model privacy, split federated learning (SFL) has been released by integrating
both data and model parallelism. Despite resource limitations, SFL still faces
two other critical challenges in EC, i.e., statistical heterogeneity and system
heterogeneity. To address these challenges, we propose a novel SFL framework,
termed MergeSFL, by incorporating feature merging and batch size regulation in
SFL. Concretely, feature merging aims to merge the features from workers into a
mixed feature sequence, which is approximately equivalent to the features
derived from IID data and is employed to promote model accuracy. While batch
size regulation aims to assign diverse and suitable batch sizes for
heterogeneous workers to improve training efficiency. Moreover, MergeSFL
explores to jointly optimize these two strategies upon their coupled
relationship to better enhance the performance of SFL. Extensive experiments
are conducted on a physical platform with 80 NVIDIA Jetson edge devices, and
the experimental results show that MergeSFL can improve the final model
accuracy by 5.82% to 26.22%, with a speedup by about 1.74x to 4.14x, compared
to the baselines.
- Abstract（参考訳）: 近年,エッジコンピューティング(EC)システムにおいて,エッジAIが貴重な知識を抽出する手段として,フェデレートラーニング(FL)が普及している。
資源制約のある労働者の計算/通信負担を軽減し、モデルのプライバシを保護するため、データとモデル並列性を統合した分割フェデレーションラーニング(SFL)がリリースされた。
資源制限にもかかわらず、SFLはECにおける他の2つの重要な課題に直面している。
これらの課題に対処するために,機能マージとバッチサイズ制御をSFLに組み込んだ新しいSFLフレームワークMergeSFLを提案する。
具体的には、IIDデータから得られた特徴とほぼ同等の混合特徴系列に労働者の機能をマージし、モデルの精度を高めることを目的としている。
バッチサイズ規制は、トレーニング効率を改善するために異種労働者に多様な適切なバッチサイズを割り当てることを目的としている。
さらに、MergeSFLは、これらの2つの戦略を結合関係上で協調的に最適化し、SFLの性能向上を図る。
80個のNVIDIA Jetsonエッジデバイスを持つ物理プラットフォーム上で大規模な実験が行われ、実験結果はMergeSFLが最終モデルの精度を5.82%から26.22%改善し、ベースラインに比べて約1.74倍から4.14倍高速化できることを示している。
関連論文リスト
- R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。
SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。
これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。
無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文 参考訳（メタデータ） (2024-07-16T12:21:29Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。
T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。
本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
論文 参考訳（メタデータ） (2024-05-11T11:55:26Z) - AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。
本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
論文 参考訳（メタデータ） (2024-03-19T19:05:24Z) - Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
Split Federated Learning (SFL)は、AIoTシステムで有望である。
SFLは低い推測精度と低い効率の課題に悩まされている。
本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T05:09:50Z) - Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。
本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。
実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
論文 参考訳（メタデータ） (2023-11-06T14:48:51Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。
クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。
本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文 参考訳（メタデータ） (2023-07-29T02:35:37Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳（メタデータ） (2023-03-19T06:00:05Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳（メタデータ） (2022-09-27T02:12:43Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。