Fugu-MT 論文翻訳(概要): Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning

論文の概要: Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning

arxiv url: http://arxiv.org/abs/2311.13163v1
Date: Wed, 22 Nov 2023 05:09:50 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 16:23:10.205964
Title: Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning
Title（参考訳）: ケーキを持って食べよう - 効率的で正確な分割連合学習を目指して
Authors: Dengke Yan and Ming Hu and Zeke Xia and Yanxin Yang and Jun Xia and Xiaofei Xie and Mingsong Chen
Abstract要約: Split Federated Learning (SFL)は、AIoTシステムで有望である。 SFLは低い推測精度と低い効率の課題に悩まされている。本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
参考スコア（独自算出の注目度）: 26.74837829081963
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Due to its advantages in resource constraint scenarios, Split Federated Learning (SFL) is promising in AIoT systems. However, due to data heterogeneity and stragglers, SFL suffers from the challenges of low inference accuracy and low efficiency. To address these issues, this paper presents a novel SFL approach, named Sliding Split Federated Learning (S$^2$FL), which adopts an adaptive sliding model split strategy and a data balance-based training mechanism. By dynamically dispatching different model portions to AIoT devices according to their computing capability, S$^2$FL can alleviate the low training efficiency caused by stragglers. By combining features uploaded by devices with different data distributions to generate multiple larger batches with a uniform distribution for back-propagation, S$^2$FL can alleviate the performance degradation caused by data heterogeneity. Experimental results demonstrate that, compared to conventional SFL, S$^2$FL can achieve up to 16.5\% inference accuracy improvement and 3.54X training acceleration.
Abstract（参考訳）: リソース制約シナリオのアドバンテージのため、SFL(Split Federated Learning)はAIoTシステムで有望である。しかし、データの不均一性とストラグラーのため、SFLは低い推測精度と低い効率の課題に悩まされる。これらの問題に対処するため,Sliding Split Federated Learning (S$^2$FL) という新しいSFL手法を提案する。計算能力に応じて異なるモデル部分をAIoTデバイスに動的にディスパッチすることにより、S$^2$FLはストラグラーによる低トレーニング効率を軽減することができる。異なるデータ分布を持つデバイスによってアップロードされた機能を組み合わせて、複数の大きなバッチを生成することで、s$^2$flは、データの不均一性に起因するパフォーマンス低下を軽減することができる。実験の結果、従来のSFLと比較して、S$^2$FLは最大16.5\%の推論精度の改善と3.54倍のトレーニング加速を達成できることがわかった。

関連論文リスト

R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
論文参考訳（メタデータ） (2024-03-19T19:05:24Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
MergeSFL: Split Federated Learning with Feature Merging and Batch Size Regulation [27.159538773609917]
フェデレートラーニング(Federated Learning, FL)は、エッジコンピューティング(EC)システムにおいて、エッジAIが貴重な知識をマイニングするための技術である。本稿では,機能統合とバッチサイズ制御をSFLに組み込んだ新しいSFLフレームワークMergeSFLを提案する。我々は,MergeSFLが最終モデルの精度を5.82%から26.22%向上し,ベースラインに比べて約1.74倍から4.14倍のスピードアップが可能であることを示した。
論文参考訳（メタデータ） (2023-11-22T12:25:02Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-08-15T13:29:14Z)
SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文参考訳（メタデータ） (2023-08-12T10:33:57Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文参考訳（メタデータ） (2022-01-27T08:43:11Z)
Achieving Model Fairness in Vertical Federated Learning [47.8598060954355]
垂直連合学習(VFL)は、複数の企業が重複しない機能を保有して、プライベートデータやモデルパラメータを開示することなく、機械学習モデルを強化することを可能にする。 VFLは公平性の問題に悩まされており、すなわち、学習されたモデルはセンシティブな属性を持つグループに対して不公平に差別的である可能性がある。この問題に対処するための公平なVFLフレームワークを提案する。
論文参考訳（メタデータ） (2021-09-17T04:40:11Z)
TiFL: A Tier-based Federated Learning System [17.74678728280232]
フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
論文参考訳（メタデータ） (2020-01-25T01:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。