論文の概要: A Converting Autoencoder Toward Low-latency and Energy-efficient DNN
Inference at the Edge
- arxiv url: http://arxiv.org/abs/2403.07036v1
- Date: Mon, 11 Mar 2024 08:13:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 00:01:08.656339
- Title: A Converting Autoencoder Toward Low-latency and Energy-efficient DNN
Inference at the Edge
- Title（参考訳）: エッジにおける低レイテンシ・エネルギー効率DNN推論への変換オートエンコーダ
- Authors: Hasanul Mahmud, Peng Kang, Kevin Desai, Palden Lama, Sushil Prasad
- Abstract要約: エッジデバイスに適した低レイテンシかつエネルギー効率のDeep Neural Network (DNN) 推論フレームワークであるCBNetを提案する。
変換」オートエンコーダを使用して、ハードイメージを簡単なものに効率よく変換する。
CBNetは推論遅延の4.8倍のスピードアップと79%のエネルギー消費の削減を実現している。
- 参考スコア（独自算出の注目度）: 4.11949030493552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reducing inference time and energy usage while maintaining prediction
accuracy has become a significant concern for deep neural networks (DNN)
inference on resource-constrained edge devices. To address this problem, we
propose a novel approach based on "converting" autoencoder and lightweight
DNNs. This improves upon recent work such as early-exiting framework and DNN
partitioning. Early-exiting frameworks spend different amounts of computation
power for different input data depending upon their complexity. However, they
can be inefficient in real-world scenarios that deal with many hard image
samples. On the other hand, DNN partitioning algorithms that utilize the
computation power of both the cloud and edge devices can be affected by network
delays and intermittent connections between the cloud and the edge. We present
CBNet, a low-latency and energy-efficient DNN inference framework tailored for
edge devices. It utilizes a "converting" autoencoder to efficiently transform
hard images into easy ones, which are subsequently processed by a lightweight
DNN for inference. To the best of our knowledge, such autoencoder has not been
proposed earlier. Our experimental results using three popular
image-classification datasets on a Raspberry Pi 4, a Google Cloud instance, and
an instance with Nvidia Tesla K80 GPU show that CBNet achieves up to 4.8x
speedup in inference latency and 79% reduction in energy usage compared to
competing techniques while maintaining similar or higher accuracy.
- Abstract（参考訳）: 予測精度を維持しながら推論時間とエネルギー使用量を削減することは、リソース制約エッジデバイスに対するディープニューラルネットワーク(DNN)推論において重要な関心事となっている。
この問題に対処するため、「変換」オートエンコーダと軽量DNNに基づく新しい手法を提案する。
これにより、早期発行フレームワークやDNNパーティショニングといった最近の作業が改善される。
初期のフレームワークは、複雑さに応じて異なる入力データに対して異なる量の計算能力を使う。
しかし、多くのハードイメージサンプルを扱う現実世界のシナリオでは非効率である。
一方で、クラウドとエッジデバイスの両方の計算能力を利用するdnnパーティショニングアルゴリズムは、クラウドとエッジ間のネットワーク遅延と断続的な接続によって影響を受ける可能性がある。
エッジデバイスに適した低レイテンシかつエネルギー効率のDNN推論フレームワークCBNetを提案する。
変換」オートエンコーダを使用して、ハード画像を効率的に簡単に変換し、その後、軽量DNNによって推論処理を行う。
我々の知る限りでは、そのようなオートエンコーダは以前から提案されていない。
Raspberry Pi 4、Google Cloudインスタンス、Nvidia Tesla K80 GPUインスタンスの3つの一般的な画像分類データセットを用いた実験の結果、CBNetは推論遅延の4.8倍のスピードアップと79%のエネルギー使用量の削減を実現し、類似または高い精度を維持しながら競合技術と比較した。
関連論文リスト
- MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via
Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。
ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。
そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
論文 参考訳（メタデータ） (2024-02-21T04:43:12Z) - I-SplitEE: Image classification in Split Computing DNNs with Early Exits [5.402030962296633]
大規模なDeep Neural Networks(DNN)は、エッジやモバイル、IoTプラットフォームといったリソース制約のあるデバイスにデプロイするのを妨げる。
我々の研究は、アーリーエグジットとスプリットコンピューティングを融合した革新的な統一アプローチを提示している。
I-SplitEEは、地上の真実とシーケンシャルなデータを持たないシナリオに理想的なオンラインの教師なしアルゴリズムである。
論文 参考訳（メタデータ） (2024-01-19T07:44:32Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos [16.644938608211202]
ビデオデータ上の畳み込みニューラルネットワーク推論は、リアルタイム処理に強力なハードウェアを必要とする。
スパースフレーム・バイ・フレーム更新を可能にするスパース畳み込みニューラルネットワークフレームワークを提案する。
我々は,厳密な参照であるcuDNNを,精度の限界差のみで最大7倍のスピードアップを達成するために,初めて性能を向上した。
論文 参考訳（メタデータ） (2022-03-08T10:54:00Z) - Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。
本稿では,WNN アーキテクチャ BTHOWeN を提案する。
BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
論文 参考訳（メタデータ） (2022-03-03T01:46:05Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-28T21:32:31Z) - Early-exit deep neural networks for distorted images: providing an
efficient edge offloading [69.43216268165402]
ディープニューラルネットワーク(DNN)のエッジオフロードは、入力の複雑さに適応することができる。
画像歪みに対する対策として,特定の歪みタイプを訓練した専門的側枝を導入する。
このアプローチはエッジ上の推定精度を高め、オフロードの決定を改善する。
論文 参考訳（メタデータ） (2021-08-20T19:52:55Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。
精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。
d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
論文 参考訳（メタデータ） (2021-01-15T03:18:53Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。