論文の概要: Edge-MultiAI: Multi-Tenancy of Latency-Sensitive Deep Learning Applications on Edge

• arxiv url: http://arxiv.org/abs/2211.07130v1
• Date: Mon, 14 Nov 2022 06:17:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 17:05:46.376560
• Title: Edge-MultiAI: Multi-Tenancy of Latency-Sensitive Deep Learning Applications on Edge
• Title（参考訳）: Edge-MultiAI:Edge上のレイテンシ感性ディープラーニングアプリケーションのマルチテナンシ
• Authors: SM Zobaed, Ali Mokhtari, Jaya Prakash Champati, Mathieu Kourouma, Mohsen Amini Salehi
• Abstract要約: 本研究は,ディープラーニングアプリケーションのレイテンシ制約を満たすため,メモリ競合を克服することを目的としている。 We propose a efficient NN model management framework called Edge-MultiAI, which uses the NN model of the DL application into the edge memory。 We show that Edge-MultiAI can encourage the degree of multi-tenancy on the edge by least 2X and the number of warm-starts by around 60% by any significant loss on the inference accuracy of the application。
• 参考スコア（独自算出の注目度）: 10.067877168224337
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Smart IoT-based systems often desire continuous execution of multiple latency-sensitive Deep Learning (DL) applications. The edge servers serve as the cornerstone of such IoT-based systems, however, their resource limitations hamper the continuous execution of multiple (multi-tenant) DL applications. The challenge is that, DL applications function based on bulky "neural network (NN) models" that cannot be simultaneously maintained in the limited memory space of the edge. Accordingly, the main contribution of this research is to overcome the memory contention challenge, thereby, meeting the latency constraints of the DL applications without compromising their inference accuracy. We propose an efficient NN model management framework, called Edge-MultiAI, that ushers the NN models of the DL applications into the edge memory such that the degree of multi-tenancy and the number of warm-starts are maximized. Edge-MultiAI leverages NN model compression techniques, such as model quantization, and dynamically loads NN models for DL applications to stimulate multi-tenancy on the edge server. We also devise a model management heuristic for Edge-MultiAI, called iWS-BFE, that functions based on the Bayesian theory to predict the inference requests for multi-tenant applications, and uses it to choose the appropriate NN models for loading, hence, increasing the number of warm-start inferences. We evaluate the efficacy and robustness of Edge-MultiAI under various configurations. The results reveal that Edge-MultiAI can stimulate the degree of multi-tenancy on the edge by at least 2X and increase the number of warm-starts by around 60% without any major loss on the inference accuracy of the applications.
• Abstract（参考訳）: スマートIoTベースのシステムは、複数のレイテンシに敏感なディープラーニング(DL)アプリケーションの継続的実行を望むことが多い。 エッジサーバはIoTベースのシステムの基盤として機能するが、リソース制限によって複数の(マルチテナント)DLアプリケーションの連続実行が妨げられる。 問題となるのは、DLアプリケーションは、エッジの限られたメモリ空間で同時に維持できない、バルクな"神経ネットワーク(NN)モデルに基づいて機能することである。 したがって、この研究の主な貢献は、メモリ競合の課題を克服し、その推論精度を損なうことなく、dlアプリケーションのレイテンシ制約を満たすことである。 本稿では,マルチテナンシの程度とウォームスタート数を最大化するために,dlアプリケーションのnnモデルをエッジメモリに格納する,効率的なnnモデル管理フレームワークedge-multiaiを提案する。 edge-multiaiはモデル量子化のようなnnモデル圧縮技術を利用し、dlアプリケーションのnnモデルを動的にロードしてエッジサーバのマルチテナントを刺激する。 iWS-BFEと呼ばれるEdge-MultiAIのモデル管理ヒューリスティックを考案し、ベイズ理論に基づいてマルチテナントアプリケーションに対する推論要求を予測し、それを用いてロードに適したNNモデルを選択することにより、ウォームスタート推論の数を増やす。 我々はedge-multiaiの有効性とロバスト性を評価した。 その結果,Edge-MultiAIはエッジ上のマルチテナント度を少なくとも2倍に刺激し,アプリケーションの推測精度に大きな損失を伴わずにウォームスタート数を約60%向上できることがわかった。

関連論文リスト

• DIET: Customized Slimming for Incompatible Networks in Sequential Recommendation [16.44627200990594]
  推奨システムは、頻繁なモバイル要求によるネットワークの混雑を軽減するために、エッジにモデルをデプロイし始める。 いくつかの研究はエッジ側とリアルタイムデータの近接を利用して、エッジ固有のモデルを作成するように微調整している。 これらの手法は、モデルを最新の状態に保つために、相当量の計算資源と頻繁なネットワーク転送を必要とする。 我々は、DIET(IncompatiblE neTworks)のためのカスタマイズされたslImmingフレームワークを提案し、DIETはすべてのデバイスに同じ一般的なバックボーン(潜在的に特定のエッジと互換性のない)をデプロイする。
  論文  参考訳（メタデータ） (2024-06-13T04:39:16Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• Enhancing Neural Architecture Search with Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
  微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。 単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
  論文  参考訳（メタデータ） (2023-10-11T06:09:14Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi-objective Deep Reinforcement Learning for Mobile Edge Computing [11.966938107719903]
  モバイルエッジコンピューティング(MEC)は、遅延やエネルギー消費など、さまざまなパフォーマンス指標を優先する次世代のモバイルネットワークアプリケーションに不可欠である。 本研究では,複数のエッジを持つMECにおいて,長期エネルギー消費と送信遅延を最小限に抑えるために,多目的オフロード問題を定式化する。 我々は,MECシステムにおいて,複数のエッジの機能を構築するためのよく設計された状態符号化手法を導入し,遅延とエネルギー消費のユーティリティを正確に計算する洗練された報酬関数を提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:36:42Z)
• BCEdge: SLO-Aware DNN Inference Services with Adaptive Batching on Edge Platforms [12.095934624748686]
  ディープニューラルネットワーク(DNN)は、幅広いエッジインテリジェントアプリケーションに適用されている。 エッジ推論プラットフォームが高レイテンシと低レイテンシの両方を持つことは、非常に重要です。 本稿では,新しい学習ベーススケジューリングフレームワークBCEdgeを提案する。
  論文  参考訳（メタデータ） (2023-05-01T02:56:43Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Dynamic Sparsity Neural Networks for Automatic Speech Recognition [44.352231175123215]
  動的スパシティニューラルネットワーク(DSNN)は、トレーニングが完了すれば、実行時に任意の定義済みのスパシティ設定に即時に切り替えることができる。 したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
  論文  参考訳（メタデータ） (2020-05-16T22:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。