論文の概要: Towards Straggler-Resilient Split Federated Learning: An Unbalanced Update Approach
- arxiv url: http://arxiv.org/abs/2510.21155v1
- Date: Fri, 24 Oct 2025 04:55:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.390822
- Title: Towards Straggler-Resilient Split Federated Learning: An Unbalanced Update Approach
- Title（参考訳）: Straggler-Resilient Split Federated Learningに向けて:アンバランスな更新アプローチ
- Authors: Dandan Liang, Jianing Zhang, Evan Chen, Zhe Li, Rui Li, Haibo Yang,
- Abstract要約: スプリット・フェデレーション・ラーニング(SFL)は、フェデレーション・ラーニング(FL)の並列性とスプリット・ラーニング(SL)の計算オフロードを組み合わせることで、エッジデバイス上でのスケーラブルなトレーニングを可能にする
- 参考スコア（独自算出の注目度）: 12.615055589739226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Split Federated Learning (SFL) enables scalable training on edge devices by combining the parallelism of Federated Learning (FL) with the computational offloading of Split Learning (SL). Despite its great success, SFL suffers significantly from the well-known straggler issue in distributed learning systems. This problem is exacerbated by the dependency between Split Server and clients: the Split Server side model update relies on receiving activations from clients. Such synchronization requirement introduces significant time latency, making straggler a critical bottleneck to the scalability and efficiency of the system. To mitigate this problem, we propose MU-SplitFed, a straggler-resilient SFL algorithm in zeroth-order optimization that decouples training progress from straggler delays via a simple yet effective unbalanced update mechanism. By enabling the server to perform $\tau$ local updates per client round, MU-SplitFed achieves a convergence rate of $O(\sqrt{d/(\tau T)})$ for non-convex objectives, demonstrating a linear speedup of $\tau$ in communication rounds. Experiments demonstrate that MU-SplitFed consistently outperforms baseline methods with the presence of stragglers and effectively mitigates their impact through adaptive tuning of $\tau$. The code for this project is available at https://github.com/Johnny-Zip/MU-SplitFed.
- Abstract（参考訳）: スプリット・フェデレーション・ラーニング(SFL)は、フェデレーション・ラーニング(FL)の並列性とスプリット・ラーニング(SL)の計算オフロードを組み合わせることで、エッジデバイス上でのスケーラブルなトレーニングを可能にする。
その大きな成功にもかかわらず、SFLは分散学習システムにおいてよく知られたストラグラー問題に悩まされている。
Split Serverサイドモデルのアップデートは、クライアントからのアクティベーションを受け取ることに依存します。
このような同期要件は、システムのスケーラビリティと効率性において、ストラグラーを重要なボトルネックにする、大幅な時間遅延をもたらす。
そこで本研究では, トラグラー・レジリエントなSFLアルゴリズムであるMU-SplitFedを提案する。
サーバがクライアントラウンド毎のローカル更新を$\tau$にすることで、MU-SplitFedは非凸目的に対して$O(\sqrt{d/(\tau T)}の収束率を達成し、通信ラウンドで$\tau$の線形スピードアップを示す。
MU-SplitFedは、ストラグラーの存在でベースラインメソッドを一貫して上回り、$\tau$のアダプティブチューニングによってその影響を効果的に軽減することを示した。
このプロジェクトのコードはhttps://github.com/Johnny-Zip/MU-SplitFed.comで公開されている。
関連論文リスト
- FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation [13.034619943612311]
フェデレートラーニング(FL)やスプリットラーニング(SL)のような協調学習手法は、生データを共有せずに分散機械学習を可能にする。
補助モデルを用いてサーバ側勾配フィードバックを推定する新しいフェデレーション分割学習アルゴリズムであるFSL-SAGEを提案する。
論文 参考訳（メタデータ） (2025-05-29T07:18:59Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
Split Federated Learning (SFL)は、AIoTシステムで有望である。
SFLは低い推測精度と低い効率の課題に悩まされている。
本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T05:09:50Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。
既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。
DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
論文 参考訳（メタデータ） (2023-02-08T14:37:34Z) - SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model
Communication [11.763368822546468]
SWIFTはその待ち時間構造のため,実行時間に対してより高速に収束することを示す。
SWIFTは、画像分類、ID、非IIDデータ設定の損失レベルを生成し、既存のSOTAアルゴリズムよりも50%高速である。
論文 参考訳（メタデータ） (2022-10-25T14:01:21Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳（メタデータ） (2022-09-27T02:12:43Z) - Server-Side Local Gradient Averaging and Learning Rate Acceleration for
Scalable Split Learning [82.06357027523262]
フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。
本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-11T08:33:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。