Fugu-MT 論文翻訳(概要): DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications

論文の概要: DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications

arxiv url: http://arxiv.org/abs/2105.11848v1
Date: Tue, 25 May 2021 11:44:12 GMT
ステータス: 処理完了
システム内更新日: 2021-05-26 13:51:23.785004
Title: DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications
Title（参考訳）: DTNN:エッジビジョン応用のためのデンドライトツリー誘導ニューラルネットワークによるエネルギー効率推論
Authors: Tao Luo, Wai Teng Tang, Matthew Kay Fei Lee, Chuping Qu, Weng-Fai Wong, Rick Goh
Abstract要約: 本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。 DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
参考スコア（独自算出の注目度）: 2.1800759000607024
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNN) have achieved remarkable success in computer vision (CV). However, training and inference of DNN models are both memory and computation intensive, incurring significant overhead in terms of energy consumption and silicon area. In particular, inference is much more cost-sensitive than training because training can be done offline with powerful platforms, while inference may have to be done on battery powered devices with constrained form factors, especially for mobile or edge vision applications. In order to accelerate DNN inference, model quantization was proposed. However previous works only focus on the quantization rate without considering the efficiency of operations. In this paper, we propose Dendrite-Tree based Neural Network (DTNN) for energy-efficient inference with table lookup operations enabled by activation quantization. In DTNN both costly weight access and arithmetic computations are eliminated for inference. We conducted experiments on various kinds of DNN models such as LeNet-5, MobileNet, VGG, and ResNet with different datasets, including MNIST, Cifar10/Cifar100, SVHN, and ImageNet. DTNN achieved significant energy saving (19.4X and 64.9X improvement on ResNet-18 and VGG-11 with ImageNet, respectively) with negligible loss of accuracy. To further validate the effectiveness of DTNN and compare with state-of-the-art low energy implementation for edge vision, we design and implement DTNN based MLP image classifiers using off-the-shelf FPGAs. The results show that DTNN on the FPGA, with higher accuracy, could achieve orders of magnitude better energy consumption and latency compared with the state-of-the-art low energy approaches reported that use ASIC chips.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)はコンピュータビジョン(CV)において大きな成功を収めている。しかし、DNNモデルのトレーニングと推論はメモリと計算に重きを置いており、エネルギー消費とシリコン面積の面でかなりのオーバーヘッドをもたらす。特に推論は、強力なプラットフォームでオフラインでトレーニングできるため、トレーニングよりもコストに敏感である。一方、特にモバイルやエッジビジョンアプリケーションでは、制限されたフォームファクタを持つバッテリー駆動デバイスで推論を行う必要がある。 DNN推論を高速化するために,モデル量子化を提案する。しかし、以前の研究は、操作の効率を考慮せずに量子化率にのみ焦点をあてている。本稿では,活性化量子化によって実現されたテーブルルックアップ操作によるエネルギー効率の高い推論のためのDendrite-Tree based Neural Network (DTNN)を提案する。 DTNNでは、コストのかかるウェイトアクセスと算術演算の両方が推論のために排除される。我々は、MNIST、Cifar10/Cifar100、SVHN、ImageNetなど、さまざまなデータセットを用いて、LeNet-5、MobileNet、VGG、ResNetなどのDNNモデルの実験を行った。 DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。 DTNNの有効性をさらに検証し,エッジビジョンのための最先端の低エネルギー実装と比較するために,既製のFPGAを用いてDTNNベースのMLP画像分類器を設計・実装する。その結果、FPGA上でのDTNNは、ASICチップを用いた最新の低エネルギーアプローチと比較して、はるかに優れたエネルギー消費とレイテンシを実現することができた。

関連論文リスト

SparrowSNN: A Hardware/software Co-design for Energy Efficient ECG Classification [7.030659971563306]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率でよく知られている。スパロウSNNは、SNNの98.29%の最先端精度を実現し、エネルギー消費量は1回の推定で31.39nJ、電力使用量は6.1uWである。
論文参考訳（メタデータ） (2024-05-06T10:30:05Z)
Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文参考訳（メタデータ） (2024-01-19T23:48:04Z)
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文参考訳（メタデータ） (2023-12-23T18:50:13Z)
Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
論文参考訳（メタデータ） (2022-03-03T01:46:05Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-06T23:45:58Z)
Dynamically Throttleable Neural Networks (TNN) [24.052859278938858]
ディープニューラルネットワーク(DNN)の条件計算は、全体の計算負荷を削減し、ネットワークのサブセットを実行することでモデルの精度を向上させる。我々は,自身のパフォーマンス目標と計算資源を適応的に自己制御できるランタイムスロットルブルニューラルネットワーク(TNN)を提案する。
論文参考訳（メタデータ） (2020-11-01T20:17:42Z)
ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文参考訳（メタデータ） (2020-10-24T05:09:14Z)
Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文参考訳（メタデータ） (2020-07-14T07:43:09Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。