論文の概要: Lean Clients, Full Accuracy: Hybrid Zeroth- and First-Order Split Federated Learning

• arxiv url: http://arxiv.org/abs/2601.09076v1
• Date: Wed, 14 Jan 2026 02:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.222131
• Title: Lean Clients, Full Accuracy: Hybrid Zeroth- and First-Order Split Federated Learning
• Title（参考訳）: リーンクライアントと完全正確性 - ハイブリッドゼロとファーストオーダーのフェデレーションラーニング
• Authors: Zhoubin Kou, Zihan Chen, Jing Yang, Cong Shen,
• Abstract要約: Split Federated Learning (SFL)は、リソース制約のあるエッジデバイスと計算量の多いサーバとの協調トレーニングを可能にする。 通信オーバーヘッドはSFLの中心的な問題であり、補助的なネットワークで緩和することができる。 HERON-SFLは、サーバ上の一階(FO)最適化を維持しながら、ローカルクライアントトレーニングのためのゼロ階(ZO)最適化を統合する。
• 参考スコア（独自算出の注目度）: 13.865545923124055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split Federated Learning (SFL) enables collaborative training between resource-constrained edge devices and a compute-rich server. Communication overhead is a central issue in SFL and can be mitigated with auxiliary networks. Yet, the fundamental client-side computation challenge remains, as back-propagation requires substantial memory and computation costs, severely limiting the scale of models that edge devices can support. To enable more resource-efficient client computation and reduce the client-server communication, we propose HERON-SFL, a novel hybrid optimization framework that integrates zeroth-order (ZO) optimization for local client training while retaining first-order (FO) optimization on the server. With the assistance of auxiliary networks, ZO updates enable clients to approximate local gradients using perturbed forward-only evaluations per step, eliminating memory-intensive activation caching and avoiding explicit gradient computation in the traditional training process. Leveraging the low effective rank assumption, we theoretically prove that HERON-SFL's convergence rate is independent of model dimensionality, addressing a key scalability concern common to ZO algorithms. Empirically, on ResNet training and language model (LM) fine-tuning tasks, HERON-SFL matches benchmark accuracy while reducing client peak memory by up to 64% and client-side compute cost by up to 33% per step, substantially expanding the range of models that can be trained or adapted on resource-limited devices.
• Abstract（参考訳）: Split Federated Learning (SFL)は、リソース制約のあるエッジデバイスと計算量の多いサーバとの協調トレーニングを可能にする。 通信オーバーヘッドはSFLの中心的な問題であり、補助的なネットワークで軽減することができる。 しかし、バックプロパゲーションにはかなりのメモリと計算コストが必要であり、エッジデバイスがサポートできるモデルの規模を著しく制限しているため、クライアント側の基本的な計算課題は依然として残っている。 よりリソース効率のよいクライアント計算を実現し,クライアントサーバ間通信の低減を図るため,サーバ上の一階(FO)最適化を維持しつつ,ローカルクライアントトレーニングのためのゼロオーダー(ZO)最適化を統合した新しいハイブリッド最適化フレームワークHERON-SFLを提案する。 補助的なネットワークの助けを借りて、ZOアップデートにより、クライアントは各ステップごとに乱れた前方のみの評価を使用して局所的な勾配を近似し、メモリ集約的なアクティベーションキャッシュを排除し、従来のトレーニングプロセスにおける明示的な勾配計算を回避することができる。 HERON-SFLの収束速度がモデル次元に依存しないことを理論的に証明し、ZOアルゴリズムに共通する重要なスケーラビリティ上の問題に対処する。 実証的には、ResNetトレーニングおよび言語モデル(LM)の微調整タスクにおいて、HERON-SFLは、クライアントピークメモリを最大64%削減し、クライアント側の計算コストを最大33%削減し、リソース制限されたデバイスでトレーニングまたは適用可能なモデルの範囲を大幅に拡大する。

関連論文リスト

• TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients [40.687124234279274]
  TurboSVM-FLは、クライアント側で追加の計算負荷を発生させることのない、新しい統合集約戦略である。 我々は、FEMNIST、CelebA、シェークスピアを含む複数のデータセット上でTurboSVM-FLを評価する。
  論文  参考訳（メタデータ） (2024-01-22T14:59:11Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Joint Client Scheduling and Resource Allocation under Channel Uncertainty in Federated Learning [47.97586668316476]
  無線ネットワーク上のフェデレートラーニング(FL)は、クライアントサーバの接続性とクライアントのローカル計算能力の信頼性に依存する。 本稿では、FLを用いたモデルトレーニングの性能を高めるため、クライアントスケジューリングとリソースブロック(RB)割り当ての問題について検討する。 提案手法は,最先端クライアントスケジューリングやRBアロケーション手法と比較して,トレーニング精度損失のギャップを最大40.7%削減する。
  論文  参考訳（メタデータ） (2021-06-12T15:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。