論文の概要: RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition

• arxiv url: http://arxiv.org/abs/2002.11474v1
• Date: Wed, 19 Feb 2020 00:07:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 14:41:53.351143
• Title: RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition
• Title（参考訳）: RTMobile:音声認識のためのリアルタイムモバイルアクセラレーションを超えて
• Authors: Peiyan Dong, Siyue Wang, Wei Niu, Chengming Zhang, Sheng Lin, Zhengang Li, Yifan Gong, Bin Ren, Xue Lin, Yanzhi Wang, and Dingwen Tao
• Abstract要約: RTMobileは、モバイルプラットフォーム上でリアルタイムRNN推論を実現する最初の作業である。 GRU上でAdreno 640組み込みGPUを使用するRTMobileは、FPGAの以前の作業と比較すると、同じ推論時間を維持しながら、40$times$のエネルギー効率を向上させることができる。
• 参考スコア（独自算出の注目度）: 51.1437598405873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) based automatic speech recognition has nowadays become prevalent on mobile devices such as smart phones. However, previous RNN compression techniques either suffer from hardware performance overhead due to irregularity or significant accuracy loss due to the preserved regularity for hardware friendliness. In this work, we propose RTMobile that leverages both a novel block-based pruning approach and compiler optimizations to accelerate RNN inference on mobile devices. Our proposed RTMobile is the first work that can achieve real-time RNN inference on mobile platforms. Experimental results demonstrate that RTMobile can significantly outperform existing RNN hardware acceleration methods in terms of inference accuracy and time. Compared with prior work on FPGA, RTMobile using Adreno 640 embedded GPU on GRU can improve the energy-efficiency by about 40$\times$ while maintaining the same inference time.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)に基づく自動音声認識は、近年、スマートフォンなどのモバイルデバイスで普及している。 しかし、従来のRNN圧縮技術は、不規則性によるハードウェア性能のオーバーヘッドや、ハードウェアフレンドリ性の保存された規則性による大幅な精度低下に悩まされていた。 本稿では,新しいブロックベースプルーニング手法と,モバイルデバイス上でのrnn推論を高速化するコンパイラ最適化を併用したrtmobileを提案する。 提案するRTMobileは,モバイルプラットフォーム上でリアルタイムRNN推論を実現する最初の試みである。 実験の結果,RTMobile は既存の RNN ハードウェアアクセラレーション手法よりも推定精度と時間で大幅に優れていた。 GRU上でAdreno 640組み込みGPUを使用するRTMobileは、FPGAの以前の作業と比較すると、同じ推論時間を維持しながら、40$\times$のエネルギー効率を向上させることができる。

関連論文リスト

• GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity [46.75304109970339]
  本稿では、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方に汎用的な新しいモバイル推論加速フレームワークGRIMを設計する。 ブロックベースカラムロープルーニング(BCR)による微細粒度構造解析手法を提案する。 我々のGRIMフレームワークは、この新たなきめ細かな構造化された空間に基づいて、(a)リアルタイムモバイル推論のためのコンパイラ最適化とコード生成という2つの部分で構成されています。
  論文  参考訳（メタデータ） (2021-08-25T03:50:46Z)
• On Addressing Practical Challenges for RNN-Transduce [72.72132048437751]
  オーディオデータを収集することなく、よく訓練されたRNN-Tモデルを新しいドメインに適応します。 復号時に計算された複数の特徴を利用して単語レベルの信頼度を求める。 提案手法では,平均で50ms以下の単語のタイミング差が得られる。
  論文  参考訳（メタデータ） (2021-04-27T23:31:43Z)
• Alignment Restricted Streaming Recurrent Neural Network Transducer [29.218353627837214]
  本稿では、RNN-T損失関数の修正とアライメント制限付きRNN-Tモデルの開発について述べる。 Ar-RNN-T損失は、トークン放出遅延とワードエラーレート(WER)の間のトレードオフをナビゲートする洗練された制御を提供する。 Ar-RNN-Tモデルは、任意の遅延範囲内でトークンの放出を保証することにより、ASRエンドポイントのような下流アプリケーションを改善する。
  論文  参考訳（メタデータ） (2020-11-05T19:38:54Z)
• Applying GPGPU to Recurrent Neural Network Language Model based Fast Network Search in the Real-Time LVCSR [5.0555627833288]
  リカレントニューラルネットワーク言語モデル (RNNLM) は音声認識の様々な分野で使われ始めている。 RNNLMの計算複雑性は、RNNLMをリアルタイムな大語彙連続音声認識に適用する上でハードルとなっている。
  論文  参考訳（メタデータ） (2020-07-23T05:15:14Z)
• RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
  本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
  論文  参考訳（メタデータ） (2020-07-20T02:05:32Z)
• Towards Real-Time DNN Inference on Mobile Platforms with Model Pruning and Compiler Optimization [56.3111706960878]
  ハイエンドなモバイルプラットフォームは、幅広いDeep Neural Network (DNN)アプリケーションのための主要なコンピューティングデバイスとして機能する。 これらのデバイス上の制約付き計算とストレージリソースは、リアルタイムの推論実行に重大な課題をもたらす。 モバイル端末上でのDNN実行を高速化するハードウェアフレンドリーな構造化モデルプルーニングとコンパイラ最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-22T03:18:23Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。