論文の概要: HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation

• arxiv url: http://arxiv.org/abs/2603.14773v1
• Date: Mon, 16 Mar 2026 03:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.024691
• Title: HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation
• Title（参考訳）: HO-SFL: バックプロップフリークライアントとディメンションフリーアグリゲーションによるハイブリッドオーダー分散学習
• Authors: Qiyuan Chen, Xian Wu, Yi Wang, Xianhao Chen,
• Abstract要約: エッジデバイス上の微細調整された大型モデルは、メモリ集約的バックプロパゲーション(BP)によって著しく阻害される 混成次数分割フェデレーションラーニング(HO-SFL)を提案する。
• 参考スコア（独自算出の注目度）: 12.367106850196409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large models on edge devices is severely hindered by the memory-intensive backpropagation (BP) in standard frameworks like federated learning and split learning. While substituting BP with zeroth-order optimization can significantly reduce memory footprints, it typically suffers from prohibitively degraded convergence speed. To resolve this dilemma, we propose Hybrid-Order Split Federated Learning (HO-SFL). By reformulating the split learning process within a Lagrangian framework, HO-SFL decouples the optimization landscape: The server performs precise first-order updates (i.e., BP), whereas clients conduct memory-efficient zeroth-order optimization. This hybrid design not only eliminates the need for client-side BP but also enables dimension-free model aggregation, drastically lowering communication costs. Crucially, we provide a theoretical convergence analysis, demonstrating that HO-SFL mitigates the dimension-dependent convergence slowdown of zeroth-order optimization, achieving a convergence rate comparable to first-order methods. Extensive experiments on tasks across vision and language modalities validate that HO-SFL achieves convergence speeds comparable to first-order baselines while significantly reducing communication costs and client memory footprints.
• Abstract（参考訳）: エッジデバイス上の微調整された大きなモデルは、フェデレーション学習や分割学習といった標準フレームワークにおけるメモリ集約的バックプロパゲーション(BP)によって著しく妨げられます。 BPを0階最適化で置換するとメモリフットプリントが大幅に減少するが、一般的にはコンバージェンス速度が著しく低下する。 このジレンマを解決するために,Hybrid-Order Split Federated Learning (HO-SFL)を提案する。 HO-SFLは、ラグランジアンフレームワーク内で分割学習プロセスを再構築することにより、最適化の展望を分離する: サーバは正確な一階更新(BP)を行うが、クライアントはメモリ効率のよいゼロ階最適化を行う。 このハイブリッド設計は、クライアント側BPの必要性をなくすだけでなく、次元のないモデルアグリゲーションを可能にし、通信コストを大幅に削減する。 重要なことは、HO-SFLがゼロ階最適化の次元依存収束の減速を緩和し、一階法に匹敵する収束率を達成することを示し、理論的収束解析を提供する。 視覚と言語モダリティをまたいだタスクの大規模な実験により、HO-SFLは1次ベースラインに匹敵する収束速度を達成し、通信コストとクライアントメモリフットプリントを大幅に削減することを確認した。

関連論文リスト

• Lean Clients, Full Accuracy: Hybrid Zeroth- and First-Order Split Federated Learning [13.865545923124055]
  Split Federated Learning (SFL)は、リソース制約のあるエッジデバイスと計算量の多いサーバとの協調トレーニングを可能にする。 通信オーバーヘッドはSFLの中心的な問題であり、補助的なネットワークで緩和することができる。 HERON-SFLは、サーバ上の一階(FO)最適化を維持しながら、ローカルクライアントトレーニングのためのゼロ階(ZO)最適化を統合する。
  論文  参考訳（メタデータ） (2026-01-14T02:17:49Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Efficient Zero-Order Federated Finetuning of Language Models for Resource-Constrained Devices [11.523328603690945]
  エッジデバイス上での微調整大型言語モデル(LLM)は、高いメモリ、通信、計算要求のために依然として困難である。 ネットワークを2つのブロックに分割し,ブロック毎に異なる数の摂動を適用するフェデレート分割摂動ゼロオーダー最適化(FedSPZO)を提案する。 我々の評価では、フェデレート学習における技術技術のゼロオーダー状態と比較すると、計算オーバーヘッドの2.5～7倍の削減効果が示される。
  論文  参考訳（メタデータ） (2025-02-14T15:49:02Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization [18.619236705579713]
  垂直フェデレート学習(VFL)におけるケースケードハイブリッド最適化手法を提案する。 この方法では、下流モデル(クライアント)はプライバシーを保護するためにゼロオーダー最適化(ZOO)で訓練される。 本稿では,ZOOベースのVFLフレームワークよりも高速な収束を実現するとともに,プライバシー保護のレベルを維持していることを示す。
  論文  参考訳（メタデータ） (2023-06-28T10:18:08Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。