論文の概要: A Survey of Methods for Low-Power Deep Learning and Computer Vision
- arxiv url: http://arxiv.org/abs/2003.11066v1
- Date: Tue, 24 Mar 2020 18:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 09:28:28.592737
- Title: A Survey of Methods for Low-Power Deep Learning and Computer Vision
- Title（参考訳）: 低消費電力深層学習とコンピュータビジョンのための手法の検討
- Authors: Abhinav Goel, Caleb Tung, Yung-Hsiang Lu, and George K. Thiruvathukal
- Abstract要約: ディープニューラルネットワーク(DNN)は多くのコンピュータビジョンタスクで成功している。
最も正確なDNNは数百万のパラメータと演算を必要とし、エネルギー、計算、メモリを集中的に処理する。
近年の研究では、DNNモデルの精度を著しく低下させることなく、メモリ要件、エネルギー消費、演算数を削減することで改善されている。
- 参考スコア（独自算出の注目度）: 0.4234843176066353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) are successful in many computer vision tasks.
However, the most accurate DNNs require millions of parameters and operations,
making them energy, computation and memory intensive. This impedes the
deployment of large DNNs in low-power devices with limited compute resources.
Recent research improves DNN models by reducing the memory requirement, energy
consumption, and number of operations without significantly decreasing the
accuracy. This paper surveys the progress of low-power deep learning and
computer vision, specifically in regards to inference, and discusses the
methods for compacting and accelerating DNN models. The techniques can be
divided into four major categories: (1) parameter quantization and pruning, (2)
compressed convolutional filters and matrix factorization, (3) network
architecture search, and (4) knowledge distillation. We analyze the accuracy,
advantages, disadvantages, and potential solutions to the problems with the
techniques in each category. We also discuss new evaluation metrics as a
guideline for future research.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くのコンピュータビジョンタスクで成功している。
しかし、最も正確なDNNは数百万のパラメータと演算を必要とし、エネルギー、計算、メモリを集中的に処理する。
これにより、限られた計算リソースを持つ低消費電力デバイスへの大規模なDNNの展開が妨げられる。
近年,メモリ要求量,エネルギー消費量,演算数を削減し,精度を著しく低下させることなくdnnモデルを改善している。
本稿では,低消費電力深層学習とコンピュータビジョンの進展,特に推論に関する調査を行い,dnnモデルのコンパクト化と高速化について述べる。
これらの手法は,(1)パラメータ量子化とプルーニング,(2)圧縮畳み込みフィルタと行列因子化,(3)ネットワークアーキテクチャ探索,(4)知識蒸留の4つの主要なカテゴリに分類できる。
各カテゴリの手法を用いて,問題の正確性,長所,短所,潜在的な解決策を分析した。
また,今後の研究のガイドラインとして,新たな評価指標について考察する。
関連論文リスト
- Survey on Computer Vision Techniques for Internet-of-Things Devices [0.0]
ディープニューラルネットワーク(Deep Neural Network, DNN)は、コンピュータビジョン問題を解決する最先端技術である。
DNNは最先端の結果を得るために数十億のパラメータと演算を必要とする。
この要件により、DNNは計算量、メモリ、エネルギー不足を極端に増加させ、結果として限られたコンピューティングリソースを持つ小さなバッテリ駆動のIoT(Internet-of-Things)デバイスにデプロイすることが困難になる。
論文 参考訳（メタデータ） (2023-08-02T03:41:24Z) - To Spike or Not To Spike: A Digital Hardware Perspective on Deep
Learning Acceleration [4.712922151067433]
ディープラーニングモデルがスケールするにつれて、コンピュータビジョンから自然言語処理まで、ドメイン間の競争が激化する。
生物学的脳のパワー効率は、大規模深層学習(DL)モデルよりも優れている。
ニューロモルフィックコンピューティングは、DLモデルの効率を改善するために、脳の操作を模倣しようとする。
論文 参考訳（メタデータ） (2023-06-27T19:04:00Z) - Hardware Approximate Techniques for Deep Neural Network Accelerators: A
Survey [4.856755747052137]
Deep Neural Networks(DNN)は非常に人気があり、機械学習(ML)における様々な認知タスクのパフォーマンスが高い。
近年のDNNの進歩は多くのタスクにおいて人間の精度を超えたが、計算の複雑さのコストがかかる。
本稿では,DNN加速器のハードウェア近似技術に関する包括的調査と解析を行う。
論文 参考訳（メタデータ） (2022-03-16T16:33:13Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。
近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。
浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文 参考訳（メタデータ） (2021-03-25T06:57:11Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳（メタデータ） (2020-07-17T09:40:26Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。