論文の概要: Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization

• arxiv url: http://arxiv.org/abs/2012.10138v1
• Date: Fri, 18 Dec 2020 09:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 01:20:47.034505
• Title: Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization
• Title（参考訳）: ニューラルネットワーク探索と量子化を用いたキーワードスポッティングのための資源効率の良いDNN
• Authors: David Peter, Wolfgang Roth, Franz Pernkopf
• Abstract要約: 本稿では,キーワードスポッティングのための小さなモデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。 nas法を用いて畳み込みニューラルネットワーク(cnns)の構造を最適化し,分類精度を最大化する。 NASのみを使用して、Google音声コマンドデータセットで95.4%の精度で高効率なモデルを得ることができた。
• 参考スコア（独自算出の注目度）: 23.850887499271842
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper introduces neural architecture search (NAS) for the automatic discovery of small models for keyword spotting (KWS) in limited resource environments. We employ a differentiable NAS approach to optimize the structure of convolutional neural networks (CNNs) to maximize the classification accuracy while minimizing the number of operations per inference. Using NAS only, we were able to obtain a highly efficient model with 95.4% accuracy on the Google speech commands dataset with 494.8 kB of memory usage and 19.6 million operations. Additionally, weight quantization is used to reduce the memory consumption even further. We show that weight quantization to low bit-widths (e.g. 1 bit) can be used without substantial loss in accuracy. By increasing the number of input features from 10 MFCC to 20 MFCC we were able to increase the accuracy to 96.3% at 340.1 kB of memory usage and 27.1 million operations.
• Abstract（参考訳）: 本稿では,限定的リソース環境におけるキーワードスポッティング(kws)のための小モデルの自動発見のためのニューラルネットワーク検索(nas)を提案する。 我々は,畳み込みニューラルネットワーク(CNN)の構造を最適化し,推論当たりの演算数を最小化しつつ,分類精度を最大化するために,微分可能なNASアプローチを用いる。 NASのみを使用して、Googleの音声コマンドデータセットで95.4%の精度で、メモリ使用量は494.8kB、操作数は19.6万である。 さらに、メモリ消費をさらに削減するために重量量子化が用いられる。 低ビット幅(例)に対する重み量子化を示す。 1bit)は精度を著しく損なうことなく使用できる。 入力機能を10mfccから20mfccに増やすことで、340.1kbのメモリ使用と2710万オペレーションで96.3%の精度に向上することができた。

関連論文リスト

• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Reducing Neural Architecture Search Spaces with Training-Free Statistics and Computational Graph Clustering [12.588898262943218]
  C-BRED(Clustering-Based REDuction)は,NAS検索空間のサイズを縮小する新しい手法である。 C-BREDは、空間全体の平均精度の64%ではなく、平均精度の70%のサブセットを選択する。
  論文  参考訳（メタデータ） (2022-04-29T13:52:35Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• End-to-end Keyword Spotting using Neural Architecture Search and Quantization [23.850887499271842]
  本稿では、エンドツーエンドキーワードスポッティング(KWS)モデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。 我々は、生の音声波形で動作する畳み込みニューラルネットワーク(cnns)の構造を最適化するために、微分可能なnasアプローチを用いる。
  論文  参考訳（メタデータ） (2021-04-14T07:22:22Z)
• Sound Event Detection with Binary Neural Networks on Tightly Power-Constrained IoT Devices [20.349809458335532]
  サウンドイベント検出(SED)は、消費者およびスマートシティアプリケーションのホットトピックです。 Deep Neural Networksに基づく既存のアプローチは非常に効果的ですが、メモリ、電力、スループットの面で非常に要求が高いです。 本稿では,高エネルギー効率なRISC-V(8+1)コアGAP8マイクロコントローラと,極端量子化と小プリントバイナリニューラルネットワーク(BNN)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2021-01-12T12:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。