論文の概要: Accelerating Split Federated Learning over Wireless Communication Networks

• arxiv url: http://arxiv.org/abs/2310.15584v1
• Date: Tue, 24 Oct 2023 07:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 20:00:20.007904
• Title: Accelerating Split Federated Learning over Wireless Communication Networks
• Title（参考訳）: 無線通信ネットワークによる分割フェデレーション学習の高速化
• Authors: Ce Xu, Jinxuan Li, Yuan Liu, Yushi Ling, and Miaowen Wen
• Abstract要約: 我々は、連立学習(FL)の並列モデル学習機構と分割学習(SL)のモデル分割構造を組み合わせた分割学習(SFL)フレームワークを検討する。 システム遅延を最小限に抑えるために,分割点選択と帯域割り当ての連立問題を定式化する。 実験の結果,レイテンシ低減と精度向上における作業の優位性を実証した。
• 参考スコア（独自算出の注目度）: 17.97006656280742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of artificial intelligence (AI) provides opportunities for the promotion of deep neural network (DNN)-based applications. However, the large amount of parameters and computational complexity of DNN makes it difficult to deploy it on edge devices which are resource-constrained. An efficient method to address this challenge is model partition/splitting, in which DNN is divided into two parts which are deployed on device and server respectively for co-training or co-inference. In this paper, we consider a split federated learning (SFL) framework that combines the parallel model training mechanism of federated learning (FL) and the model splitting structure of split learning (SL). We consider a practical scenario of heterogeneous devices with individual split points of DNN. We formulate a joint problem of split point selection and bandwidth allocation to minimize the system latency. By using alternating optimization, we decompose the problem into two sub-problems and solve them optimally. Experiment results demonstrate the superiority of our work in latency reduction and accuracy improvement.
• Abstract（参考訳）: 人工知能(AI)の開発は、ディープニューラルネットワーク(DNN)ベースのアプリケーションを促進する機会を提供する。 しかし、DNNの大量のパラメータと計算複雑性により、リソース制約のあるエッジデバイスにデプロイすることは困難である。 この課題に対処する効果的な方法はモデル分割/分割であり、DNNはデバイスとサーバにそれぞれデプロイされる2つの部分に分けられる。 本稿では,連合学習(fl)の並列モデル学習機構と分割学習(sl)のモデル分割構造を組み合わせたslit federated learning(sfl)フレームワークについて検討する。 DNNの個別分割点を持つ異種デバイスの実用シナリオを考察する。 システム遅延を最小限に抑えるために,分割点選択と帯域割り当ての連立問題を定式化する。 交互最適化を用いることで、問題を2つのサブプロブレムに分解し、最適に解く。 実験の結果,レイテンシ低減と精度向上における作業の優位性を実証した。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices [22.664980594996155]
  フェデレートラーニング(FL)は、複数のパーティ(分散デバイス)が生データを共有せずに機械学習モデルをトレーニングすることを可能にする。 本稿では,中央サーバにおける強力な計算能力を最大限に活用するために,効率的な分割フェデレーション学習アルゴリズム(ESFL)を提案する。
  論文  参考訳（メタデータ） (2024-02-24T20:50:29Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Split-Et-Impera: A Framework for the Design of Distributed Deep Learning Applications [8.434224141580758]
  Split-Et-Imperaは、ディープネットワークの解釈可能性の原則に基づいて、ニューラルネットワークのベストスプリットポイントのセットを決定する。 異なるニューラルネットワーク再構成の迅速な評価のための通信認識シミュレーションを実行する。 これは、アプリケーションのサービス要件の品質と、正確性とレイテンシ時間の観点からのパフォーマンスのベストマッチを示唆している。
  論文  参考訳（メタデータ） (2023-03-22T13:00:00Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• SplitPlace: AI Augmented Splitting and Placement of Large-Scale Neural Networks in Mobile Edge Environments [13.864161788250856]
  この研究は、階層分割戦略とセマンティック分割戦略をインテリジェントに決定するために、Multi-Armed-Banditsを使用するAI駆動のオンラインポリシーであるSplitPlaceを提案する。 SplitPlaceは、意思決定対応強化学習を使用して、そのようなニューラルネットワーク分割フラグメントをモバイルエッジデバイスに配置する。 実験の結果,SplitPlaceは平均応答時間,期限違反率,推論精度,合計報酬を最大46,69,3,12%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-05-21T16:24:47Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Optimal Model Placement and Online Model Splitting for Device-Edge Co-Inference [22.785214118527872]
  デバイスのエッジコ推論は、リソース制約のある無線デバイスがディープニューラルネットワーク(DNN)ベースのアプリケーションを実行する新たな可能性を開く。 デバイスエッジ共振器のエネルギー・時間コストを最小限に抑えるため,モデル配置とオンラインモデル分割決定の協調最適化について検討した。
  論文  参考訳（メタデータ） (2021-05-28T06:55:04Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。