論文の概要: Joint Coding and Scheduling Optimization for Distributed Learning over Wireless Edge Networks

• arxiv url: http://arxiv.org/abs/2103.04303v2
• Date: Tue, 9 Mar 2021 04:20:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 12:22:26.144767
• Title: Joint Coding and Scheduling Optimization for Distributed Learning over Wireless Edge Networks
• Title（参考訳）: 無線エッジネットワークを用いた分散学習のための共同符号化とスケジューリング最適化
• Authors: Nguyen Van Huynh, Dinh Thai Hoang, Diep N. Nguyen, and Eryk Dutkiewicz
• Abstract要約: この記事では、符号化コンピューティングとディープデュエルニューラルネットワークアーキテクチャの最近の進歩を活用することで、問題を解決する。 コード化された構造/冗長性を導入することで、ノードをつまずくのを待つことなく、分散学習タスクを完了することができる。 シミュレーションでは、提案されたフレームワークは、他のDLアプローチと比較して、無線エッジコンピューティングの平均学習遅延を最大66%削減する。
• 参考スコア（独自算出の注目度）: 21.422040036286536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike theoretical distributed learning (DL), DL over wireless edge networks faces the inherent dynamics/uncertainty of wireless connections and edge nodes, making DL less efficient or even inapplicable under the highly dynamic wireless edge networks (e.g., using mmW interfaces). This article addresses these problems by leveraging recent advances in coded computing and the deep dueling neural network architecture. By introducing coded structures/redundancy, a distributed learning task can be completed without waiting for straggling nodes. Unlike conventional coded computing that only optimizes the code structure, coded distributed learning over the wireless edge also requires to optimize the selection/scheduling of wireless edge nodes with heterogeneous connections, computing capability, and straggling effects. However, even neglecting the aforementioned dynamics/uncertainty, the resulting joint optimization of coding and scheduling to minimize the distributed learning time turns out to be NP-hard. To tackle this and to account for the dynamics and uncertainty of wireless connections and edge nodes, we reformulate the problem as a Markov Decision Process and then design a novel deep reinforcement learning algorithm that employs the deep dueling neural network architecture to find the jointly optimal coding scheme and the best set of edge nodes for different learning tasks without explicit information about the wireless environment and edge nodes' straggling parameters. Simulations show that the proposed framework reduces the average learning delay in wireless edge computing up to 66% compared with other DL approaches. The jointly optimal framework in this article is also applicable to any distributed learning scheme with heterogeneous and uncertain computing nodes.
• Abstract（参考訳）: 理論的分散学習(DL)とは異なり、無線エッジネットワーク上のDLは、無線接続とエッジノードの固有のダイナミクス/不確実性に直面しており、非常にダイナミックな無線エッジネットワーク(例えばmmWインターフェースを使用して)下でDLを効率性や適用性が低下させる。 本稿では,近年のコーデックコンピューティングとディープデューリングニューラルネットワークアーキテクチャを活用し,これらの問題に対処する。 コード化された構造/冗長性を導入することで、ノードをつまずくのを待つことなく、分散学習タスクを完了することができる。 コード構造のみを最適化する従来のコードドコンピューティングとは異なり、ワイヤレスエッジ上のコードド分散学習では、異種接続によるワイヤレスエッジノードの選択/スケジュール、計算能力、ストラグリング効果も最適化する必要がある。 しかし、前述のダイナミクス/未知性を無視しても、分散学習時間を最小化するためのコーディングとスケジューリングの協調最適化はnpハードであることが判明した。 そこで我々は,無線接続とエッジノードのダイナミクスと不確実性を考慮し,問題をマルコフ決定プロセスとして再構成し,ディープ・デュリングニューラルネットワークアーキテクチャを用いた新しい深層強化学習アルゴリズムを設計し,無線環境とエッジノードのストラグリングパラメータに関する情報を明示することなく,異なる学習タスクのための最適な符号化方式と最良エッジノードを探索する。 シミュレーションでは、提案されたフレームワークは、他のDLアプローチと比較して、無線エッジコンピューティングの平均学習遅延を最大66%削減する。 本記事での共同最適フレームワークは、異種および不確実な計算ノードを持つ任意の分散学習スキームにも適用可能である。

関連論文リスト

• Learning the Optimal Path and DNN Partition for Collaborative Edge Inference [4.368333109035076]
  Deep Neural Networks (DNN)は、多数のインテリジェントなモバイルアプリケーションとサービスの開発を触媒している。 これを解決するために、協調的なエッジ推論が提案されている。 この方法では、DNN推論タスクを複数のサブタスクに分割し、それらを複数のネットワークノードに分散する。 我々は,従来のブロックされたEXP3アルゴリズムとLinUCBアルゴリズムの要素を組み合わせたB-EXPUCBアルゴリズムを導入し,そのサブ線形後悔を示す。
  論文  参考訳（メタデータ） (2024-10-02T01:12:16Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Lyapunov-Driven Deep Reinforcement Learning for Edge Inference Empowered by Reconfigurable Intelligent Surfaces [30.1512069754603]
  本稿では,ワイヤレスエッジにおけるエネルギー効率,低レイテンシ,高精度な推論のための新しいアルゴリズムを提案する。 本稿では,新しいデータを一連のデバイスで連続的に生成・収集し,動的キューシステムを通じて処理するシナリオについて考察する。
  論文  参考訳（メタデータ） (2023-05-18T12:46:42Z)
• Learning Cooperative Beamforming with Edge-Update Empowered Graph Neural Networks [29.23937571816269]
  グラフエッジ上での協調ビームフォーミングを学習するためのエッジグラフニューラルネットワーク(Edge-GNN)を提案する。 提案したEdge-GNNは、最先端の手法よりも計算時間をはるかに短くして、より高い和率を達成する。
  論文  参考訳（メタデータ） (2022-11-23T02:05:06Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Efficient power allocation using graph neural networks and deep algorithm unfolding [40.78748956518785]
  単一ホップアドホック無線ネットワークにおける最適電力配分の問題について検討する。 アルゴリズム重み付き最小二乗誤差(WMMSE)の展開に着想を得たハイブリッドニューラルネットワークアーキテクチャを提案する。 UWMMSEはWMMSEに匹敵する堅牢性を達成し,計算複雑性を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-11-18T05:28:24Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。