論文の概要: DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling

• arxiv url: http://arxiv.org/abs/2101.07968v1
• Date: Wed, 20 Jan 2021 05:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:31:59.118085
• Title: DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling
• Title（参考訳）: DynaComm: 動的通信スケジューリングによるエッジとクラウド間の分散CNNトレーニングの高速化
• Authors: Shangming Cai, Dongsheng Wang, Haixia Wang, Yongqiang Lyu, Guangquan Xu, Xi Zheng and Athanasios V. Vasilakos
• Abstract要約: 本稿では,各送信手順を複数のセグメントに分割し,実行時に重複する最適な通信と計算を実現する新しいスケジューラDynaCommを提案する。 DynaComm は、モデル精度を保ちながら、競合する戦略と比較して、すべてのケースで最適なスケジューリングを実現できることを確認します。
• 参考スコア（独自算出の注目度）: 11.34309642431225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce uploading bandwidth and address privacy concerns, deep learning at the network edge has been an emerging topic. Typically, edge devices collaboratively train a shared model using real-time generated data through the Parameter Server framework. Although all the edge devices can share the computing workloads, the distributed training processes over edge networks are still time-consuming due to the parameters and gradients transmission procedures between parameter servers and edge devices. Focusing on accelerating distributed Convolutional Neural Networks (CNNs) training at the network edge, we present DynaComm, a novel scheduler that dynamically decomposes each transmission procedure into several segments to achieve optimal communications and computations overlapping during run-time. Through experiments, we verify that DynaComm manages to achieve optimal scheduling for all cases compared to competing strategies while the model accuracy remains untouched.
• Abstract（参考訳）: アップロード帯域幅とアドレスプライバシの懸念を軽減するために、ネットワークエッジでのディープラーニングが注目されている。 通常、エッジデバイスはパラメータサーバーフレームワークを通じてリアルタイムに生成されたデータを使用して、共有モデルを協調的にトレーニングする。 すべてのエッジデバイスはコンピューティングワークロードを共有することができるが、エッジネットワーク上の分散トレーニングプロセスは、パラメータサーバとエッジデバイス間の送信手順のパラメータと勾配のため、依然として時間がかかる。 ネットワークエッジにおける分散畳み込みニューラルネットワーク(CNN)トレーニングの高速化に着目し,各送信手順を複数のセグメントに動的に分解し,実行時に重複する最適な通信と計算を実現する新しいスケジューラDynaCommを提案する。 実験により、DynaCommは、モデル精度が変化しないまま、競合する戦略と比較して、全てのケースに対して最適なスケジューリングを達成できることを確認した。

関連論文リスト

• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks [28.775355111614484]
  補助変数法は近年、多くの関心を集めているが、通信オーバーヘッドとデータ拡張の欠如に悩まされている。 本稿では,複数のコンピュータデバイスにまたがる現実的なResNetを学習するための新しい共同学習フレームワークを提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにまたがるResNetsおよびWideResNetsにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-12-10T08:45:35Z)
• Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients [3.983055670167878]
  フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。 本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-12-09T07:39:31Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• To Talk or to Work: Delay Efficient Federated Learning over Mobile Edge Devices [13.318419040823088]
  モバイルデバイスは、中央サーバの調整の下で、自身のデータに基づいてモデルをトレーニングするために協力する。 データの中心的な可用性がなければ、計算ノードは収束を達成するためにしばしばモデル更新を伝える必要がある。 本稿では,モデルが収束するために必要な全時間(計算待ち時間と通信待ち時間の両方)と通信ラウンドを削減できる遅延効率FL機構を提案する。
  論文  参考訳（メタデータ） (2021-11-01T00:35:32Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO) [0.0]
  分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。 DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。 DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:02:20Z)
• Relational Deep Reinforcement Learning for Routing in Wireless Networks [2.997420836766863]
  我々は,トラフィックパターン,混雑レベル,ネットワーク接続性,リンクダイナミクスを一般化した,深層強化学習に基づく分散ルーティング戦略を開発した。 提案アルゴリズムは,パケットの配送やパケット毎の遅延に対して,最短経路とバックプレッシャルーティングに優れる。
  論文  参考訳（メタデータ） (2020-12-31T16:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。