論文の概要: End-to-end Keyword Spotting using Neural Architecture Search and Quantization

• arxiv url: http://arxiv.org/abs/2104.06666v1
• Date: Wed, 14 Apr 2021 07:22:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:26:50.305611
• Title: End-to-end Keyword Spotting using Neural Architecture Search and Quantization
• Title（参考訳）: ニューラルアーキテクチャ探索と量子化を用いたエンドツーエンドキーワードスポッティング
• Authors: David Peter, Wolfgang Roth, Franz Pernkopf
• Abstract要約: 本稿では、エンドツーエンドキーワードスポッティング(KWS)モデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。 我々は、生の音声波形で動作する畳み込みニューラルネットワーク(cnns)の構造を最適化するために、微分可能なnasアプローチを用いる。
• 参考スコア（独自算出の注目度）: 23.850887499271842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces neural architecture search (NAS) for the automatic discovery of end-to-end keyword spotting (KWS) models in limited resource environments. We employ a differentiable NAS approach to optimize the structure of convolutional neural networks (CNNs) operating on raw audio waveforms. After a suitable KWS model is found with NAS, we conduct quantization of weights and activations to reduce the memory footprint. We conduct extensive experiments on the Google speech commands dataset. In particular, we compare our end-to-end approach to mel-frequency cepstral coefficient (MFCC) based systems. For quantization, we compare fixed bit-width quantization and trained bit-width quantization. Using NAS only, we were able to obtain a highly efficient model with an accuracy of 95.55% using 75.7k parameters and 13.6M operations. Using trained bit-width quantization, the same model achieves a test accuracy of 93.76% while using on average only 2.91 bits per activation and 2.51 bits per weight.
• Abstract（参考訳）: 本稿では、限られた資源環境下でのエンドツーエンドキーワードスポッティング(KWS)モデルの自動発見のためのニューラルネットワーク探索(NAS)を提案する。 我々は、生の音声波形で動作する畳み込みニューラルネットワーク(cnns)の構造を最適化するために、微分可能なnasアプローチを用いる。 NASで適切なKWSモデルが見つかると、メモリフットプリントを減らすために重みとアクティベーションの量子化を行う。 Google音声コマンドデータセットの広範な実験を行う。 特に,メル周波数ケプストラム係数(MFCC)に基づくシステムとエンドツーエンドのアプローチを比較した。 量子化では、固定ビット幅量子化と訓練ビット幅量子化を比較する。 NASのみを使用して、75.7kパラメータと13.6M演算を使用して95.55%の精度で高効率なモデルを得ることができた。 訓練されたビット幅量子化を用いて、同じモデルは平均2.91ビット、重量2.51ビットで93.76%の精度を達成する。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• BOMP-NAS: Bayesian Optimization Mixed Precision NAS [2.53488567499651]
  BOMP-NASは、設計コストをはるかに低くして、最先端のアートパフォーマンスを実現するニューラルネットワークを見つけることができる。 BOMP-NASは、最も近い関連する研究の6倍短い検索時間でこれらのニューラルネットワークを見つけることができる。
  論文  参考訳（メタデータ） (2023-01-27T16:04:34Z)
• Sub 8-Bit Quantization of Streaming Keyword Spotting Models for Embedded Chipsets [7.5195830365852085]
  本稿では,250Kパラメータのフィードフォワード,ストリーミング,ステートフリーなキーワードスポッティングモデルの全コンポーネントに対する,新しいサブ8ビット量子化対応トレーニングアルゴリズムを提案する。 大規模実験を行い、26,000時間の非特定生産、遠距離場および近距離場音声データをトレーニングする。
  論文  参考訳（メタデータ） (2022-07-13T17:46:08Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)
• Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization [23.850887499271842]
  本稿では,キーワードスポッティングのための小さなモデルの自動発見のためのニューラルアーキテクチャサーチ(NAS)を提案する。 nas法を用いて畳み込みニューラルネットワーク(cnns)の構造を最適化し,分類精度を最大化する。 NASのみを使用して、Google音声コマンドデータセットで95.4%の精度で高効率なモデルを得ることができた。
  論文  参考訳（メタデータ） (2020-12-18T09:53:55Z)
• Subtensor Quantization for Mobilenets [5.735035463793008]
  ディープニューラルネットワーク(DNN)の量子化により、開発者はより少ないメモリとより効率的な低消費電力推論でモデルをデプロイできるようになった。 本稿では,量子化損失の根本原因について分析し,チャネル単位やトレーニング対応のアプローチに依存しない代替案を提案する。 我々は、ImageNetデータセット上の画像分類タスクと、浮動小数点バージョンの0.7%以内で、トレーニング後の量子化8ビット推論トップ1の精度を評価する。
  論文  参考訳（メタデータ） (2020-11-04T15:41:47Z)
• Learned Low Precision Graph Neural Networks [10.269500440688306]
  ネットワークアーキテクチャサーチ(NAS)を用いて,ニューラルネットワーク(GNN)を最小あるいは全く性能の損失なく体系的に定量化する方法を示す。 提案したNASメカニズムは、LPGNAS(Low Precision Graph NAS)と呼ばれ、アーキテクチャと量子化の選択を区別できるように制約する。 グラフ内の未確認ノードを分類するタスクを解決する8つの異なるデータセットにおいて、LPGNASはモデルサイズとバッファサイズの両方で大幅に削減された量子化されたモデルを生成する。
  論文  参考訳（メタデータ） (2020-09-19T13:51:09Z)
• Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers [76.30674794049293]
  本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。 具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。 重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
  論文  参考訳（メタデータ） (2020-08-12T06:09:58Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。