論文の概要: Learning the Optimal Path and DNN Partition for Collaborative Edge Inference

• arxiv url: http://arxiv.org/abs/2410.01857v1
• Date: Wed, 2 Oct 2024 01:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 14:34:44.412332
• Title: Learning the Optimal Path and DNN Partition for Collaborative Edge Inference
• Title（参考訳）: 協調エッジ推論のための最適経路とDNN分割の学習
• Authors: Yin Huang, Letian Zhang, Jie Xu,
• Abstract要約: Deep Neural Networks (DNN)は、多数のインテリジェントなモバイルアプリケーションとサービスの開発を触媒している。 これを解決するために、協調的なエッジ推論が提案されている。 この方法では、DNN推論タスクを複数のサブタスクに分割し、それらを複数のネットワークノードに分散する。 我々は,従来のブロックされたEXP3アルゴリズムとLinUCBアルゴリズムの要素を組み合わせたB-EXPUCBアルゴリズムを導入し,そのサブ線形後悔を示す。
• 参考スコア（独自算出の注目度）: 4.368333109035076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Deep Neural Networks (DNNs) have catalyzed the development of numerous intelligent mobile applications and services. However, they also introduce significant computational challenges for resource-constrained mobile devices. To address this, collaborative edge inference has been proposed. This method involves partitioning a DNN inference task into several subtasks and distributing these across multiple network nodes. Despite its potential, most current approaches presume known network parameters -- like node processing speeds and link transmission rates -- or rely on a fixed sequence of nodes for processing the DNN subtasks. In this paper, we tackle a more complex scenario where network parameters are unknown and must be learned, and multiple network paths are available for distributing inference tasks. Specifically, we explore the learning problem of selecting the optimal network path and assigning DNN layers to nodes along this path, considering potential security threats and the costs of switching paths. We begin by deriving structural insights from the DNN layer assignment with complete network information, which narrows down the decision space and provides crucial understanding of optimal assignments. We then cast the learning problem with incomplete network information as a novel adversarial group linear bandits problem with switching costs, featuring rewards generation through a combined stochastic and adversarial process. We introduce a new bandit algorithm, B-EXPUCB, which combines elements of the classical blocked EXP3 and LinUCB algorithms, and demonstrate its sublinear regret. Extensive simulations confirm B-EXPUCB's superior performance in learning for collaborative edge inference over existing algorithms.
• Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)の進歩は、多数のインテリジェントなモバイルアプリケーションやサービスの開発を触媒にしている。 しかし、リソース制約のあるモバイルデバイスに対して、重要な計算課題も導入している。 これを解決するために、協調的なエッジ推論が提案されている。 この方法では、DNN推論タスクを複数のサブタスクに分割し、それらを複数のネットワークノードに分散する。 その可能性にもかかわらず、現在のほとんどのアプローチでは、ノード処理速度やリンク転送レートなどの既知のネットワークパラメータ、あるいはDNNサブタスクを処理するノードの固定シーケンスに依存していると推定されている。 本稿では,ネットワークパラメータが未知で学習しなければならない複雑なシナリオに取り組み,推論タスクの分散に複数のネットワークパスが利用可能である。 具体的には,ネットワークパスを最適に選択し,その経路に沿ったノードにDNN層を割り当てる学習問題について検討する。 まず、DNN層割当から完全なネットワーク情報を用いて構造的洞察を導き、決定空間を狭め、最適な割当を決定的に理解することから始める。 そこで我々は,不完全ネットワーク情報を用いた学習問題を,スイッチングコストを伴う新規な対向群線形バンドイット問題として,確率的および対向的プロセスの組み合わせによる報酬生成を特徴とした。 我々は,従来のブロックされたEXP3アルゴリズムとLinUCBアルゴリズムの要素を組み合わせたB-EXPUCBアルゴリズムを導入し,そのサブ線形後悔を示す。 大規模なシミュレーションにより、既存のアルゴリズムよりも協調エッジ推論の学習におけるB-EXPUCBの優れた性能が確認された。

関連論文リスト

• Learning State-Augmented Policies for Information Routing in Communication Networks [92.59624401684083]
  我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。 教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。 実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-30T04:34:25Z)
• Scalable Resource Management for Dynamic MEC: An Unsupervised Link-Output Graph Neural Network Approach [36.32772317151467]
  ディープラーニングは、タスクオフロードとリソース割り当てを最適化するために、モバイルエッジコンピューティング(MEC)でうまく採用されている。 エッジネットワークのダイナミクスは、低スケーラビリティと高トレーニングコストという、ニューラルネットワーク(NN)ベースの最適化方法における2つの課題を提起する。 本稿では,新たなリンクアウトプットGNN(LOGNN)ベースの資源管理手法を提案し,MECにおける資源割り当てを柔軟に最適化する。
  論文  参考訳（メタデータ） (2023-06-15T08:21:41Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)
• Deep Neural Networks and PIDE discretizations [2.4063592468412276]
  畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。 本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。 自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
  論文  参考訳（メタデータ） (2021-08-05T08:03:01Z)
• Algorithm Unrolling for Massive Access via Deep Neural Network with Theoretical Guarantee [30.86806523281873]
  大規模アクセスはIoT(Internet of Things)ネットワークにおける重要な設計課題である。 我々は、マルチアンテナベースステーション(BS)と多数の単一アンテナIoTデバイスを備えたIoTネットワークの無許可アップリンク伝送を検討する。 本稿では,低計算複雑性と高ロバスト性を実現するために,ディープニューラルネットワークに基づく新しいアルゴリズムアンローリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-19T05:23:05Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Joint Coding and Scheduling Optimization for Distributed Learning over Wireless Edge Networks [21.422040036286536]
  この記事では、符号化コンピューティングとディープデュエルニューラルネットワークアーキテクチャの最近の進歩を活用することで、問題を解決する。 コード化された構造/冗長性を導入することで、ノードをつまずくのを待つことなく、分散学習タスクを完了することができる。 シミュレーションでは、提案されたフレームワークは、他のDLアプローチと比較して、無線エッジコンピューティングの平均学習遅延を最大66%削減する。
  論文  参考訳（メタデータ） (2021-03-07T08:57:09Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。