論文の概要: Dynamic Sparsity Neural Networks for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2005.10627v3
• Date: Mon, 8 Feb 2021 08:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 12:56:40.236501
• Title: Dynamic Sparsity Neural Networks for Automatic Speech Recognition
• Title（参考訳）: 自動音声認識のための動的スパーシティニューラルネットワーク
• Authors: Zhaofeng Wu, Ding Zhao, Qiao Liang, Jiahui Yu, Anmol Gulati, Ruoming Pang
• Abstract要約: 動的スパシティニューラルネットワーク(DSNN)は、トレーニングが完了すれば、実行時に任意の定義済みのスパシティ設定に即時に切り替えることができる。 したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
• 参考スコア（独自算出の注目度）: 44.352231175123215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In automatic speech recognition (ASR), model pruning is a widely adopted technique that reduces model size and latency to deploy neural network models on edge devices with resource constraints. However, multiple models with different sparsity levels usually need to be separately trained and deployed to heterogeneous target hardware with different resource specifications and for applications that have various latency requirements. In this paper, we present Dynamic Sparsity Neural Networks (DSNN) that, once trained, can instantly switch to any predefined sparsity configuration at run-time. We demonstrate the effectiveness and flexibility of DSNN using experiments on internal production datasets with Google Voice Search data, and show that the performance of a DSNN model is on par with that of individually trained single sparsity networks. Our trained DSNN model, therefore, can greatly ease the training process and simplify deployment in diverse scenarios with resource constraints.
• Abstract（参考訳）: 自動音声認識(ASR)では、モデルプルーニングが広く採用されており、リソース制約のあるエッジデバイスにニューラルネットワークモデルをデプロイするためのモデルサイズとレイテンシを低減する。 しかしながら、異なるリソースレベルを持つ複数のモデルは、通常、異なるリソース仕様を持つ異種ターゲットハードウェアと、様々なレイテンシ要件を持つアプリケーションに対して、別々にトレーニングされ、デプロイされる必要がある。 本稿では,sparsityニューラルネットワーク(dsnn)について述べる。一度トレーニングすると,実行時に事前に定義されたsparsity設定に即座に切り替えることができる。 Google Voice Searchデータを用いた内部生産データセットの実験によりDSNNの有効性と柔軟性を実証し、DSNNモデルの性能が個別に訓練された単一空間ネットワークと同等であることを示す。 したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Quantization-aware Neural Architectural Search for Intrusion Detection [5.010685611319813]
  本稿では、最先端NNの1000倍の規模を持つ量子化ニューラルネットワーク(NN)モデルを自動的に訓練し、進化させる設計手法を提案する。 FPGAにデプロイする際にこのネットワークが利用するLUTの数は2.3倍から8.5倍と小さく、性能は以前の作業に匹敵する。
  論文  参考訳（メタデータ） (2023-11-07T18:35:29Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks [30.069353400127046]
  我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。 SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。 一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
  論文  参考訳（メタデータ） (2023-09-01T05:12:25Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Model Blending for Text Classification [0.15229257192293197]
  テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
  論文  参考訳（メタデータ） (2022-08-05T05:07:45Z)
• YONO: Modeling Multiple Heterogeneous Neural Networks on Microcontrollers [10.420617367363047]
  YONOは製品量子化(PQ)ベースのアプローチで、複数の異種モデルを圧縮し、インメモリモデルの実行と切り替えを可能にする。 YONOは、複数の異種モデルを無視できるか、または12.37$times$まで精度を損なわないで圧縮できるので、優れた性能を示している。
  論文  参考訳（メタデータ） (2022-03-08T01:24:36Z)
• NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution [0.0]
  NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。 いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
  論文  参考訳（メタデータ） (2021-01-30T13:38:42Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。