論文の概要: GAPSL: A Gradient-Aligned Parallel Split Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2603.18540v1
• Date: Thu, 19 Mar 2026 06:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.986759
• Title: GAPSL: A Gradient-Aligned Parallel Split Learning on Heterogeneous Data
• Title（参考訳）: GAPSL:不均質データに基づく勾配適応並列スプリット学習
• Authors: Zheng Lin, Ons Aouedi, Wei Ni, Symeon Chatzinotas, Xianhao Chen,
• Abstract要約: 本稿では、リーダー勾配同定(LGI)と勾配方向アライメント(GDA)の2つの主要な構成要素からなる勾配整列並列分割学習(PSL)フレームワークを提案する。 GAPSLは、トレーニングの精度とレイテンシにおいて、最先端のベンチマークを一貫して上回る。
• 参考スコア（独自算出の注目度）: 61.365432566830485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing complexity of neural networks poses significant challenges for democratizing FL on resource?constrained client devices. Parallel split learning (PSL) has emerged as a promising solution by offloading substantial computing workload to a server via model partitioning, shrinking client-side computing load, and eliminating the client-side model aggregation for reduced communication and deployment costs. Since PSL is aggregation-free, it suffers from severe training divergence stemming from gradient directional inconsistency across clients. To address this challenge, we propose GAPSL, a gradient-aligned PSL framework that comprises two key components: leader gradient identification (LGI) and gradient direction alignment (GDA). LGI dynamically selects a set of directionally consistent client gradients to construct a leader gradient that captures the global convergence trend. GDA employs a direction-aware regularization to align each client's gradient with the leader gradient, thereby mitigating inter-device gradient directional inconsistency and enhancing model convergence. We evaluate GAPSL on a prototype computing testbed. Extensive experiments demonstrate that GAPSL consistently outperforms state-of-the-art benchmarks in training accuracy and latency.
• Abstract（参考訳）: ニューラルネットワークの複雑さの増大は、リソース上のFLを民主化する上で大きな課題を生じさせるのだろうか? 制約のあるクライアントデバイス 並列分割学習(PSL)は、モデルのパーティショニング、クライアント側のコンピューティング負荷の縮小、通信とデプロイメントコストの削減を目的としたクライアント側のモデルアグリゲーションの排除を通じて、実質的なコンピューティングワークロードをサーバにオフロードすることで、有望なソリューションとして登場した。 PSLはアグリゲーションフリーであるため、クライアント間の勾配方向の不整合に起因する厳しいトレーニングのばらつきに悩まされる。 この課題に対処するために、リーダー勾配同定(LGI)と勾配方向アライメント(GDA)の2つの主要なコンポーネントからなる勾配整列PSLフレームワークであるGAPSLを提案する。 LGIは、方向整合性のあるクライアント勾配のセットを動的に選択し、グローバル収束傾向を捉えるリーダー勾配を構築する。 GDAは、各クライアントの勾配をリーダー勾配に合わせるために方向対応の正規化を採用し、デバイス間の勾配の不整合を緩和し、モデル収束を強化する。 我々はプロトタイプのコンピューティングテストベッド上でGAPSLを評価する。 大規模な実験では、GAPSLはトレーニングの精度とレイテンシにおいて、最先端のベンチマークを一貫して上回っている。

関連論文リスト

• Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients [11.269920973751244]
  パーソナライズされたフェデレートラーニング(pFL)では、高データの異質性はデバイス間で大きな勾配のばらつきを引き起こす可能性がある。 グラディエント・アナリティクス(FedLAG)によるレイヤワイド・アグリゲーションを用いたフェデレート・ラーニング(Federated Learning)という,pFL設計への新たなアプローチを導入する。 FedLAGはレイヤーワイド勾配競合の程度に基づいて、パーソナライズのためのレイヤを割り当てる。
  論文  参考訳（メタデータ） (2024-10-03T14:46:19Z)
• Hierarchical Federated Learning with Multi-Timescale Gradient Correction [24.713834338757195]
  本稿では,この問題を解決するためにMTGC法を提案する。 私たちのキーとなる考え方は、(i)グループ勾配のクライアント勾配を補正する、すなわち、個々のデータセットに基づいたローカル更新によるクライアントモデルのドリフトを減らすために、異なる制御を導入することです。
  論文  参考訳（メタデータ） (2024-09-27T05:10:05Z)
• CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models [21.919883617413358]
  本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。 また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
  論文  参考訳（メタデータ） (2024-05-22T15:32:38Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。