論文の概要: Optimal Model Placement and Online Model Splitting for Device-Edge Co-Inference

• arxiv url: http://arxiv.org/abs/2105.13618v1
• Date: Fri, 28 May 2021 06:55:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:27:04.261154
• Title: Optimal Model Placement and Online Model Splitting for Device-Edge Co-Inference
• Title（参考訳）: デバイスエッジ会議における最適モデル配置とオンラインモデル分割
• Authors: Jia Yan, Suzhi Bi, Ying-Jun Angela Zhang
• Abstract要約: デバイスのエッジコ推論は、リソース制約のある無線デバイスがディープニューラルネットワーク(DNN)ベースのアプリケーションを実行する新たな可能性を開く。 デバイスエッジ共振器のエネルギー・時間コストを最小限に抑えるため,モデル配置とオンラインモデル分割決定の協調最適化について検討した。
• 参考スコア（独自算出の注目度）: 22.785214118527872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Device-edge co-inference opens up new possibilities for resource-constrained wireless devices (WDs) to execute deep neural network (DNN)-based applications with heavy computation workloads. In particular, the WD executes the first few layers of the DNN and sends the intermediate features to the edge server that processes the remaining layers of the DNN. By adapting the model splitting decision, there exists a tradeoff between local computation cost and communication overhead. In practice, the DNN model is re-trained and updated periodically at the edge server. Once the DNN parameters are regenerated, part of the updated model must be placed at the WD to facilitate on-device inference. In this paper, we study the joint optimization of the model placement and online model splitting decisions to minimize the energy-and-time cost of device-edge co-inference in presence of wireless channel fading. The problem is challenging because the model placement and model splitting decisions are strongly coupled, while involving two different time scales. We first tackle online model splitting by formulating an optimal stopping problem, where the finite horizon of the problem is determined by the model placement decision. In addition to deriving the optimal model splitting rule based on backward induction, we further investigate a simple one-stage look-ahead rule, for which we are able to obtain analytical expressions of the model splitting decision. The analysis is useful for us to efficiently optimize the model placement decision in a larger time scale. In particular, we obtain a closed-form model placement solution for the fully-connected multilayer perceptron with equal neurons. Simulation results validate the superior performance of the joint optimal model placement and splitting with various DNN structures.
• Abstract（参考訳）: device-edge co-inferenceは、大量の計算負荷を伴うディープニューラルネットワーク(dnn)ベースのアプリケーションを実行するための、リソース制約付きワイヤレスデバイス(wds)の新たな可能性を開く。 特に、WDはDNNの最初の数層を実行し、DNNの残りの層を処理するエッジサーバに中間機能を送信する。 モデル分割決定を適用することで、局所計算コストと通信オーバーヘッドの間にトレードオフが存在する。 実際には、DNNモデルはエッジサーバで定期的にトレーニングされ、更新される。 dnnパラメータが再生成されると、更新されたモデルの一部はオンデバイス推論を容易にするためにwdに置かれなければならない。 本稿では,無線チャネルの消滅に伴うデバイスエッジ共振のエネルギー・時間コストを最小化するために,モデル配置とオンラインモデル分割決定の協調最適化について検討する。 モデル配置とモデル分割の決定は2つの異なるタイムスケールを伴いながら強く結合しているため、問題は難しい。 まず,モデル配置決定によって問題の有限方向が決定される最適停止問題を定式化し,オンラインモデル分割に取り組む。 逆方向誘導に基づく最適モデル分割規則の導出に加えて、モデル分割決定の解析式を得ることができる単純な1段階のルックアヘッド規則についても検討する。 この分析は,モデル配置決定をより大きな時間スケールで効率的に最適化する上で有用である。 特に、ニューロンが等しい完全連結多層パーセプトロンに対する閉形式モデル配置解を得る。 シミュレーションの結果, 各種DNN構造を用いた最適モデル配置と分割の優れた性能が検証された。

関連論文リスト

• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Accelerating Split Federated Learning over Wireless Communication Networks [17.97006656280742]
  我々は、連立学習(FL)の並列モデル学習機構と分割学習(SL)のモデル分割構造を組み合わせた分割学習(SFL)フレームワークを検討する。 システム遅延を最小限に抑えるために,分割点選択と帯域割り当ての連立問題を定式化する。 実験の結果,レイテンシ低減と精度向上における作業の優位性を実証した。
  論文  参考訳（メタデータ） (2023-10-24T07:49:56Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• JMSNAS: Joint Model Split and Neural Architecture Search for Learning over Mobile Edge Networks [23.230079759174902]
  モバイルエッジネットワーク上でのDNNモデルの自動生成とデプロイのために,ジョイントモデル分割とニューラルアーキテクチャサーチ(JMSNAS)フレームワークを提案する。 計算資源制約と通信資源制約の両方を考慮すると、計算グラフ探索問題を定式化する。 実験により,最先端の分割機械学習設計手法よりも提案手法が優れていることを確認した。
  論文  参考訳（メタデータ） (2021-11-16T03:10:23Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。