論文の概要: Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization

• arxiv url: http://arxiv.org/abs/2511.19851v1
• Date: Tue, 25 Nov 2025 02:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.239967
• Title: Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization
• Title（参考訳）: ハイブリッドスプリットとフェデレーション学習最適化によるワイヤレス分散学習の高速化
• Authors: Kun Guo, Xuefei Li, Xijun Wang, Howard H. Yang, Wei Feng, Tony Q. S. Quek,
• Abstract要約: フェデレートラーニング(FL)とスプリットラーニング(SL)は、無線ネットワークにおいて効果的な分散ラーニングパラダイムである。 ハイブリッドスプリットとフェデレート学習(HSFL)の両方の利点を活用するために、一部のデバイスはFLモードで動作し、その他のデバイスはSLモードで動作することができる。 本論文は,(1)学習モードの選択が全体の学習性能にどのように影響するか,2)バッチサイズとどのように相互作用するか,という3つの重要な疑問に対処することによって,HSFLを加速することを目的としている。
• 参考スコア（独自算出の注目度）: 58.557093803478274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) and split learning (SL) are two effective distributed learning paradigms in wireless networks, enabling collaborative model training across mobile devices without sharing raw data. While FL supports low-latency parallel training, it may converge to less accurate model. In contrast, SL achieves higher accuracy through sequential training but suffers from increased delay. To leverage the advantages of both, hybrid split and federated learning (HSFL) allows some devices to operate in FL mode and others in SL mode. This paper aims to accelerate HSFL by addressing three key questions: 1) How does learning mode selection affect overall learning performance? 2) How does it interact with batch size? 3) How can these hyperparameters be jointly optimized alongside communication and computational resources to reduce overall learning delay? We first analyze convergence, revealing the interplay between learning mode and batch size. Next, we formulate a delay minimization problem and propose a two-stage solution: a block coordinate descent method for a relaxed problem to obtain a locally optimal solution, followed by a rounding algorithm to recover integer batch sizes with near-optimal performance. Experimental results demonstrate that our approach significantly accelerates convergence to the target accuracy compared to existing methods.
• Abstract（参考訳）: フェデレートラーニング(FL)とスプリットラーニング(SL)は、無線ネットワークにおける2つの効果的な分散ラーニングパラダイムであり、生データを共有せずにモバイルデバイス間で協調的なモデルトレーニングを可能にする。 FLは低レイテンシの並列トレーニングをサポートするが、精度の低いモデルに収束する可能性がある。 対照的に、SLはシーケンシャルトレーニングによって高い精度を達成するが、遅延の増大に悩まされる。 ハイブリッドスプリットとフェデレート学習(HSFL)の両方の利点を活用するために、一部のデバイスはFLモードで動作し、その他のデバイスはSLモードで動作することができる。 本稿では,3つの重要な疑問に対処し,HSFLを加速することを目的とする。 1)学習モードの選択は全体の学習性能にどのような影響を及ぼすか? 2) バッチサイズとどのように相互作用するのか? 3)これらのハイパーパラメータは,コミュニケーションや計算資源とともに協調的に最適化され,全体的な学習遅延を低減できるのか? まず収束を解析し、学習モードとバッチサイズの間の相互作用を明らかにする。 次に,遅延最小化問題を定式化し,緩和問題に対するブロック座標降下法により局所最適解を得る2段階解を提案する。 実験により,本手法は既存の手法に比べて目標精度への収束を著しく加速することが示された。

関連論文リスト

• A Stable Whitening Optimizer for Efficient Neural Network Training [99.7641280234926]
  アルゴリズムのシャンプー系をベースとして,3つの重要な問題を同定・緩和し,SPlus法を提案する。 まず,行列逆が長期にわたってキャッシュされる場合,素早いシャンプーは分岐しがちであることがわかった。 第二に、ネットワーク幅をまたいで学習率の伝達を可能にするために、形状認識スケーリングを適用する。 第3に,高い学習率によってパラメータノイズが大きくなり,より高速な学習をブロックする簡単な反復学習方式を提案する。
  論文  参考訳（メタデータ） (2025-06-08T18:43:31Z)
• FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation [13.034619943612311]
  フェデレートラーニング(FL)やスプリットラーニング(SL)のような協調学習手法は、生データを共有せずに分散機械学習を可能にする。 補助モデルを用いてサーバ側勾配フィードバックを推定する新しいフェデレーション分割学習アルゴリズムであるFSL-SAGEを提案する。
  論文  参考訳（メタデータ） (2025-05-29T07:18:59Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Boosting Resource-Constrained Federated Learning Systems with Guessed Updates [1.6053176639259055]
  GELは制約のあるエッジデバイスに対して,勾配ベースのステップ上での推測更新を通じて,さらなる学習を可能にする。 GELは、資源制約ネットワークにおいて、経験的収束を最大40%向上させることができる。
  論文  参考訳（メタデータ） (2021-10-21T21:23:04Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。