論文の概要: Resource-efficient DNNs for Keyword Spotting using Neural Architecture
Search and Quantization
- arxiv url: http://arxiv.org/abs/2012.10138v1
- Date: Fri, 18 Dec 2020 09:53:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-05-02 01:20:47.034505
- Title: Resource-efficient DNNs for Keyword Spotting using Neural Architecture
Search and Quantization
- Title（参考訳）: ニューラルネットワーク探索と量子化を用いたキーワードスポッティングのための資源効率の良いDNN
- Authors: David Peter, Wolfgang Roth, Franz Pernkopf
- Abstract要約: 本稿では,キーワードスポッティングのための小さなモデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。
nas法を用いて畳み込みニューラルネットワーク(cnns)の構造を最適化し,分類精度を最大化する。
NASのみを使用して、Google音声コマンドデータセットで95.4%の精度で高効率なモデルを得ることができた。
- 参考スコア（独自算出の注目度）: 23.850887499271842
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper introduces neural architecture search (NAS) for the automatic
discovery of small models for keyword spotting (KWS) in limited resource
environments. We employ a differentiable NAS approach to optimize the structure
of convolutional neural networks (CNNs) to maximize the classification accuracy
while minimizing the number of operations per inference. Using NAS only, we
were able to obtain a highly efficient model with 95.4% accuracy on the Google
speech commands dataset with 494.8 kB of memory usage and 19.6 million
operations. Additionally, weight quantization is used to reduce the memory
consumption even further. We show that weight quantization to low bit-widths
(e.g. 1 bit) can be used without substantial loss in accuracy. By increasing
the number of input features from 10 MFCC to 20 MFCC we were able to increase
the accuracy to 96.3% at 340.1 kB of memory usage and 27.1 million operations.
- Abstract（参考訳）: 本稿では,限定的リソース環境におけるキーワードスポッティング(kws)のための小モデルの自動発見のためのニューラルネットワーク検索(nas)を提案する。
我々は,畳み込みニューラルネットワーク(CNN)の構造を最適化し,推論当たりの演算数を最小化しつつ,分類精度を最大化するために,微分可能なNASアプローチを用いる。
NASのみを使用して、Googleの音声コマンドデータセットで95.4%の精度で、メモリ使用量は494.8kB、操作数は19.6万である。
さらに、メモリ消費をさらに削減するために重量量子化が用いられる。
低ビット幅(例)に対する重み量子化を示す。
1bit)は精度を著しく損なうことなく使用できる。
入力機能を10mfccから20mfccに増やすことで、340.1kbのメモリ使用と2710万オペレーションで96.3%の精度に向上することができた。
関連論文リスト
- A Methodology for Improving Accuracy of Embedded Spiking Neural Networks through Kernel Size Scaling [6.006032394972252]
Spiking Neural Networks(SNN)は、機械学習ベースのアプリケーションに対して、超低電力/エネルギー消費を提供する。
現在、ほとんどのSNNアーキテクチャはより高精度なモデルサイズを必要とする。
本稿では,カーネルサイズスケーリングによるSNNの精度向上手法を提案する。
論文 参考訳（メタデータ） (2024-04-02T06:42:14Z) - Low Precision Quantization-aware Training in Spiking Neural Networks
with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。
これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。
提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-05-30T09:42:05Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - End-to-end Keyword Spotting using Neural Architecture Search and
Quantization [23.850887499271842]
本稿では、エンドツーエンドキーワードスポッティング(KWS)モデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。
我々は、生の音声波形で動作する畳み込みニューラルネットワーク(cnns)の構造を最適化するために、微分可能なnasアプローチを用いる。
論文 参考訳（メタデータ） (2021-04-14T07:22:22Z) - Sound Event Detection with Binary Neural Networks on Tightly
Power-Constrained IoT Devices [20.349809458335532]
サウンドイベント検出(SED)は、消費者およびスマートシティアプリケーションのホットトピックです。
Deep Neural Networksに基づく既存のアプローチは非常に効果的ですが、メモリ、電力、スループットの面で非常に要求が高いです。
本稿では,高エネルギー効率なRISC-V(8+1)コアGAP8マイクロコントローラと,極端量子化と小プリントバイナリニューラルネットワーク(BNN)の組み合わせについて検討する。
論文 参考訳（メタデータ） (2021-01-12T12:38:23Z) - Learned Low Precision Graph Neural Networks [10.269500440688306]
ネットワークアーキテクチャサーチ(NAS)を用いて,ニューラルネットワーク(GNN)を最小あるいは全く性能の損失なく体系的に定量化する方法を示す。
提案したNASメカニズムは、LPGNAS(Low Precision Graph NAS)と呼ばれ、アーキテクチャと量子化の選択を区別できるように制約する。
グラフ内の未確認ノードを分類するタスクを解決する8つの異なるデータセットにおいて、LPGNASはモデルサイズとバッファサイズの両方で大幅に削減された量子化されたモデルを生成する。
論文 参考訳（メタデータ） (2020-09-19T13:51:09Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳（メタデータ） (2020-07-09T13:28:49Z) - Quantitative Analysis of Image Classification Techniques for
Memory-Constrained Devices [0.7373617024876725]
畳み込みニューラルネットワーク(英: Convolutional Neural Networks、CNN)は、画像分類の最先端技術であるが、通常、大きなメモリフットプリントのコストがかかる。
本稿では,CNNとProtoNN,Bonsai,FastGRNNを比較し,CIFAR-10を用いた3チャンネル画像分類に適用する。
直接畳み込みCNNは選択した全ての予算に対して最高の性能を示し、最高性能は65.7%、メモリフットプリントは58.23KBである。
論文 参考訳（メタデータ） (2020-05-11T09:54:54Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。