論文の概要: Dynamic Sparsity Neural Networks for Automatic Speech Recognition
- arxiv url: http://arxiv.org/abs/2005.10627v3
- Date: Mon, 8 Feb 2021 08:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 12:56:40.236501
- Title: Dynamic Sparsity Neural Networks for Automatic Speech Recognition
- Title(参考訳): 自動音声認識のための動的スパーシティニューラルネットワーク
- Authors: Zhaofeng Wu, Ding Zhao, Qiao Liang, Jiahui Yu, Anmol Gulati, Ruoming
Pang
- Abstract要約: 動的スパシティニューラルネットワーク(DSNN)は、トレーニングが完了すれば、実行時に任意の定義済みのスパシティ設定に即時に切り替えることができる。
したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
- 参考スコア(独自算出の注目度): 44.352231175123215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In automatic speech recognition (ASR), model pruning is a widely adopted
technique that reduces model size and latency to deploy neural network models
on edge devices with resource constraints. However, multiple models with
different sparsity levels usually need to be separately trained and deployed to
heterogeneous target hardware with different resource specifications and for
applications that have various latency requirements. In this paper, we present
Dynamic Sparsity Neural Networks (DSNN) that, once trained, can instantly
switch to any predefined sparsity configuration at run-time. We demonstrate the
effectiveness and flexibility of DSNN using experiments on internal production
datasets with Google Voice Search data, and show that the performance of a DSNN
model is on par with that of individually trained single sparsity networks. Our
trained DSNN model, therefore, can greatly ease the training process and
simplify deployment in diverse scenarios with resource constraints.
- Abstract(参考訳): 自動音声認識(ASR)では、モデルプルーニングが広く採用されており、リソース制約のあるエッジデバイスにニューラルネットワークモデルをデプロイするためのモデルサイズとレイテンシを低減する。
しかしながら、異なるリソースレベルを持つ複数のモデルは、通常、異なるリソース仕様を持つ異種ターゲットハードウェアと、様々なレイテンシ要件を持つアプリケーションに対して、別々にトレーニングされ、デプロイされる必要がある。
本稿では,sparsityニューラルネットワーク(dsnn)について述べる。一度トレーニングすると,実行時に事前に定義されたsparsity設定に即座に切り替えることができる。
Google Voice Searchデータを用いた内部生産データセットの実験によりDSNNの有効性と柔軟性を実証し、DSNNモデルの性能が個別に訓練された単一空間ネットワークと同等であることを示す。
したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
関連論文リスト
- Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳(メタデータ) (2023-10-17T09:25:17Z) - SortedNet, a Place for Every Network and Every Network in its Place:
Towards a Generalized Solution for Training Many-in-One Neural Networks [30.069353400127046]
我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。
SortedNetは、多数のサブモデルの同時トレーニングを可能にし、推論中に動的モデルの選択とデプロイを簡略化し、モデルストレージの要求を大幅に削減する。
一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
論文 参考訳(メタデータ) (2023-09-01T05:12:25Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Model Blending for Text Classification [0.15229257192293197]
テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
論文 参考訳(メタデータ) (2022-08-05T05:07:45Z) - YONO: Modeling Multiple Heterogeneous Neural Networks on
Microcontrollers [10.420617367363047]
YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。
YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
論文 参考訳(メタデータ) (2022-03-08T01:24:36Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳(メタデータ) (2021-01-30T13:38:42Z) - Adversarially Robust and Explainable Model Compression with On-Device
Personalization for Text Classification [4.805959718658541]
モバイルデバイスのコンピューティング能力の増大とコンピュータビジョン(CV)と自然言語処理(NLP)のアプリケーション数の増加により、オンデバイスディープニューラルネットワーク(DNN)が最近注目を集めている。
NLPアプリケーションでは、モデル圧縮は最初は成功したが、少なくとも3つの大きな課題が解決されている: 対向的堅牢性、説明可能性、パーソナライゼーションである。
ここでは,モデル圧縮と対向ロバスト性のための新たなトレーニングスキームを設計し,説明可能な特徴マッピングの目的を最適化することによって,これらの課題に対処する。
得られた圧縮モデルは、細かなデバイス上でのプライベートトレーニングデータを用いてパーソナライズされる。
論文 参考訳(メタデータ) (2021-01-10T15:06:55Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳(メタデータ) (2020-07-17T08:32:11Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。