論文の概要: Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks
- arxiv url: http://arxiv.org/abs/2303.15991v4
- Date: Wed, 24 Jan 2024 06:03:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 18:07:12.897481
- Title: Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks
- Title(参考訳): 資源制約付き無線エッジネットワークを用いた並列分割学習
- Authors: Zheng Lin, Guangyu Zhu, Yiqin Deng, Xianhao Chen, Yue Gao, Kaibin
Huang, Yuguang Fang
- Abstract要約: 本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
- 参考スコア(独自算出の注目度): 44.37047471448793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasingly deeper neural networks hinder the democratization of
privacy-enhancing distributed learning, such as federated learning (FL), to
resource-constrained devices. To overcome this challenge, in this paper, we
advocate the integration of edge computing paradigm and parallel split learning
(PSL), allowing multiple client devices to offload substantial training
workloads to an edge server via layer-wise model split. By observing that
existing PSL schemes incur excessive training latency and large volume of data
transmissions, we propose an innovative PSL framework, namely, efficient
parallel split learning (EPSL), to accelerate model training. To be specific,
EPSL parallelizes client-side model training and reduces the dimension of local
gradients for back propagation (BP) via last-layer gradient aggregation,
leading to a significant reduction in server-side training and communication
latency. Moreover, by considering the heterogeneous channel conditions and
computing capabilities at client devices, we jointly optimize subchannel
allocation, power control, and cut layer selection to minimize the per-round
latency. Simulation results show that the proposed EPSL framework significantly
decreases the training latency needed to achieve a target accuracy compared
with the state-of-the-art benchmarks, and the tailored resource management and
layer split strategy can considerably reduce latency than the counterpart
without optimization.
- Abstract(参考訳): ますます深いニューラルネットワークは、フェデレーション学習(FL)のような、プライバシ強化による分散学習の、リソース制約のあるデバイスへの民主化を妨げる。
本稿では、エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱し、複数のクライアントデバイスがレイヤーワイドモデル分割を介してエッジサーバに大規模なトレーニングワークロードをオフロードできるようにする。
既存のPSLスキームが過度なトレーニング遅延と大量のデータ伝送を発生させるのを観察することにより、モデルトレーニングを加速するために、効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
具体的には、epslはクライアント側のモデルのトレーニングを並列化し、ラスト層勾配アグリゲーションを通じてバックプロパゲーション(bp)の局所勾配の次元を削減し、サーバ側のトレーニングと通信遅延を大幅に削減する。
さらに,クライアントデバイスにおける不均質なチャネル条件と計算能力を考慮することで,サブチャネル割り当て,電力制御,カット層選択を共同で最適化し,ラウンド単位のレイテンシを最小化する。
シミュレーションの結果,epslフレームワークは,目標精度を達成するのに必要なトレーニングレイテンシを,最先端のベンチマークと比較して有意に低減し,最適化せずにリソース管理とレイヤ分割戦略をカスタマイズすることでレイテンシを大幅に削減できることがわかった。
関連論文リスト
- Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-08-26T11:10:54Z) - Training Latency Minimization for Model-Splitting Allowed Federated Edge
Learning [16.8717239856441]
我々は,深層ニューラルネットワーク(DNN)の訓練において,クライアントが直面する計算能力の不足を軽減するためのモデル分割許容FL(SFL)フレームワークを提案する。
同期したグローバルアップデート設定では、グローバルトレーニングを完了するためのレイテンシは、クライアントがローカルトレーニングセッションを完了するための最大レイテンシによって決定される。
この混合整数非線形計画問題の解法として,AIモデルのカット層と他のパラメータの量的関係に適合する回帰法を提案し,TLMPを連続的な問題に変換する。
論文 参考訳(メタデータ) (2023-07-21T12:26:42Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳(メタデータ) (2023-04-09T05:21:15Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳(メタデータ) (2023-03-19T06:00:05Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-26T08:13:22Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳(メタデータ) (2022-09-02T10:29:56Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳(メタデータ) (2020-07-07T08:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。