論文の概要: The Case for Hierarchical Deep Learning Inference at the Network Edge
- arxiv url: http://arxiv.org/abs/2304.11763v1
- Date: Sun, 23 Apr 2023 22:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 16:27:26.378982
- Title: The Case for Hierarchical Deep Learning Inference at the Network Edge
- Title（参考訳）: ネットワークエッジにおける階層的ディープラーニング推論の事例
- Authors: Ghina Al-Atat and Andrea Fresa and Adarsh Prasad Behera and Vishnu
Narayanan Moothedath and James Gross and Jaya Prakash Champati
- Abstract要約: 階層推論(Hierarchical Inference、HI)は、エッジで分散ディープラーニング推論を実行するための新しいアプローチである。
本稿では,機械故障検出と画像分類のためのHIの実装の可能性を示す。
- 参考スコア（独自算出の注目度）: 17.136494858619976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Resource-constrained Edge Devices (EDs), e.g., IoT sensors and
microcontroller units, are expected to make intelligent decisions using Deep
Learning (DL) inference at the edge of the network. Toward this end, there is a
significant research effort in developing tinyML models - Deep Learning (DL)
models with reduced computation and memory storage requirements - that can be
embedded on these devices. However, tinyML models have lower inference
accuracy. On a different front, DNN partitioning and inference offloading
techniques were studied for distributed DL inference between EDs and Edge
Servers (ESs). In this paper, we explore Hierarchical Inference (HI), a novel
approach proposed by Vishnu et al. 2023, arXiv:2304.00891v1 , for performing
distributed DL inference at the edge. Under HI, for each data sample, an ED
first uses a local algorithm (e.g., a tinyML model) for inference. Depending on
the application, if the inference provided by the local algorithm is incorrect
or further assistance is required from large DL models on edge or cloud, only
then the ED offloads the data sample. At the outset, HI seems infeasible as the
ED, in general, cannot know if the local inference is sufficient or not.
Nevertheless, we present the feasibility of implementing HI for machine fault
detection and image classification applications. We demonstrate its benefits
using quantitative analysis and argue that using HI will result in low latency,
bandwidth savings, and energy savings in edge AI systems.
- Abstract（参考訳）: リソース制約のあるエッジデバイス(EDs)、例えばIoTセンサーやマイクロコントローラユニットは、ネットワークの端でディープラーニング(DL)推論を使用してインテリジェントな決定を行う。
この目的に向けて、これらのデバイスに組み込むことができる、小さなMLモデル(計算とメモリストレージの要求を低減したディープラーニング(DL)モデル)の開発において、かなりの研究努力が続けられている。
しかし、小さなMLモデルは推論精度が低い。
異なる面では、EDとエッジサーバ(ES)間の分散DL推論のために、DNNパーティショニングと推論オフロード技術を検討した。
本稿では,Vishnuらによって提案された新しいアプローチである階層推論(Hierarchical Inference, HI)について検討する。
HIの下では、各データサンプルに対して、EDはまず推論にローカルアルゴリズム(例えば、小さなMLモデル)を使用する。
アプリケーションによっては、ローカルアルゴリズムによって提供される推論が誤りであったり、エッジやクラウド上の大きなDLモデルからさらなる補助が必要になった場合、EDはデータサンプルをオフロードする。
当初、HI は ED が有効でないように見えるが、一般に、局所的な推論が十分かどうかを知らない。
しかし, 機械故障検出および画像分類への応用において, HIの実装の可能性を示す。
定量的分析を用いてその利点を実証し、HIを使用すると、エッジAIシステムにおける低レイテンシ、帯域幅の節約、省エネにつながると論じる。
関連論文リスト
- Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach [5.402030962296633]
ディープニューラルネットワーク(DNN)は、様々な領域で優れたパフォーマンスを示している。
小型のDNNをモバイル、エッジの大型バージョン、クラウドのフルフローにデプロイできる分散推論設定を使用することができる。
DNNにおける推論遅延を最小限に抑えるために,Early Exit(EE)戦略を利用した新しい手法を開発した。
論文 参考訳（メタデータ） (2024-10-06T20:14:27Z) - Online Algorithms for Hierarchical Inference in Deep Learning
applications at the Edge [16.747830651006577]
資源制約のあるエッジデバイス (ED) に, 汎用分類アプリケーション用の小型MLモデル (S-ML) と大規模MLモデル (L-ML) をホストするエッジサーバ (ES) を組み込む。
S-MLの推測精度はL-MLよりも低いため、すべてのデータサンプルをESにオフロードすると高い推測精度が得られるが、EDにS-MLを埋め込むことの目的を損なう。
EDがS-ML推論の正確性を予測するために利用できるオンラインメタ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-03T11:26:56Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-25T12:33:31Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Edge-Detect: Edge-centric Network Intrusion Detection using Deep Neural
Network [0.0]
エッジノードは、Internet-of-Thingsエンドポイント上の複数のサイバー攻撃を検出するために不可欠である。
DLM技術を用いてエッジノードに対するDoS攻撃を検知する,軽量で高速かつ高精度なEdge-Detectモデルを開発した。
論文 参考訳（メタデータ） (2021-02-03T04:24:34Z) - Calibration-Aided Edge Inference Offloading via Adaptive Model
Partitioning of Deep Neural Networks [30.800324092046793]
モバイルデバイスは、ディープニューラルネットワーク(DNN)ベースの推論をクラウドにオフロードし、ローカルハードウェアとエネルギー制限を克服することができる。
本研究は,モデル分割によるオフロードにおける誤校正初期DNNの利用が,推論精度を著しく低下させることを示した。
対照的に、デプロイ前にキャリブレーションアルゴリズムを実装することでこの問題を解決し、より信頼性の高いオフロード決定が可能になると論じる。
論文 参考訳（メタデータ） (2020-10-30T15:50:12Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。