論文の概要: Iterative Compression of End-to-End ASR Model using AutoML
- arxiv url: http://arxiv.org/abs/2008.02897v1
- Date: Thu, 6 Aug 2020 22:33:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 06:43:47.785227
- Title: Iterative Compression of End-to-End ASR Model using AutoML
- Title(参考訳): AutoMLを用いたエンドツーエンドASRモデルの反復圧縮
- Authors: Abhinav Mehrotra, {\L}ukasz Dudziak, Jinsu Yeo, Young-yoon Lee,
Ravichander Vipperla, Mohamed S. Abdelfattah, Sourav Bhattacharya, Samin
Ishtiaq, Alberto Gil C. P. Ramos, SangJeong Lee, Daehyun Kim, Nicholas D.
Lane
- Abstract要約: 現在のAutoMLベースの検索技術は,ある圧縮レベルまでしか動作せず,許容単語誤り率(WER)の圧縮モデルの生成に失敗することを示す。
本研究では,WERを劣化させることなく5倍以上の圧縮を達成し,ASR圧縮の最先端化を図るための反復型AutoMLベースのLRF手法を提案する。
- 参考スコア(独自算出の注目度): 25.032304467241158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Increasing demand for on-device Automatic Speech Recognition (ASR) systems
has resulted in renewed interests in developing automatic model compression
techniques. Past research have shown that AutoML-based Low Rank Factorization
(LRF) technique, when applied to an end-to-end Encoder-Attention-Decoder style
ASR model, can achieve a speedup of up to 3.7x, outperforming laborious manual
rank-selection approaches. However, we show that current AutoML-based search
techniques only work up to a certain compression level, beyond which they fail
to produce compressed models with acceptable word error rates (WER). In this
work, we propose an iterative AutoML-based LRF approach that achieves over 5x
compression without degrading the WER, thereby advancing the state-of-the-art
in ASR compression.
- Abstract(参考訳): オンデバイス自動音声認識(ASR)システムの需要が増大し、自動モデル圧縮技術の開発に新たな関心が寄せられている。
従来の研究では、エンド・ツー・エンドのEncoder-Attention-DecoderスタイルのASRモデルに適用されたAutoMLベースの低ランク因子化(LRF)技術が最大3.7倍の高速化を実現し、厳しい手動のランク選択手法よりも優れていることが示されている。
しかし、現在のAutoMLベースの検索技術は、ある圧縮レベルまでしか機能せず、それ以外は許容される単語誤り率(WER)の圧縮モデルを生成できないことを示す。
本研究では,WERを劣化させることなく5倍以上の圧縮を達成し,ASR圧縮の最先端化を図るための反復型AutoMLベースのLRF手法を提案する。
関連論文リスト
- AUTOACT: Automatic Agent Learning from Scratch via Self-Planning [56.81725335882185]
AutoActは、大規模アノテートデータやクローズドソースモデルからの合成軌跡に依存しない自動エージェント学習フレームワークである。
我々は異なるLLMを用いて総合的な実験を行い、AutoActは様々な強力なベースラインと比較して優れた性能または並列性能が得られることを示した。
論文 参考訳(メタデータ) (2024-01-10T16:57:24Z) - LLMLingua: Compressing Prompts for Accelerated Inference of Large
Language Models [22.06402870816756]
大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。
本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。
提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
論文 参考訳(メタデータ) (2023-10-09T14:10:21Z) - Enhancing Quantised End-to-End ASR Models via Personalisation [12.971231464928806]
量子化モデル(PQM)のための新しいパーソナライズ戦略を提案する。
PQMは 4-bit NormalFloat Quantisation (NF4) アプローチをモデル量子化とSATのローランク適応(LoRA)に用いている。
LibriSpeechとTED-Lium 3コーパスで実験が行われた。
論文 参考訳(メタデータ) (2023-09-17T02:35:21Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳(メタデータ) (2023-04-13T10:52:49Z) - AutoMC: Automated Model Compression based on Domain Knowledge and
Progressive search strategy [5.16507824054135]
AutoMCはモデル圧縮のための効果的な自動ツールである。
モデル圧縮にドメイン知識を構築し、各圧縮方法の特徴と利点を理解する。
パーレト最適圧縮スキームを効率的に探索するプログレッシブ検索戦略を提案する。
論文 参考訳(メタデータ) (2022-01-24T04:24:31Z) - Relaxed Attention: A Simple Method to Boost Performance of End-to-End
Automatic Speech Recognition [27.530537066239116]
トレーニング中のエンコーダ・デコーダの注意重みに対する均一分布の段階的注入である緩和注意の概念を導入する。
ゆるやかな注意で訓練されたトランスフォーマーは、外部言語モデルを用いたデコーディングにおいて、標準ベースラインモデルよりも一貫して優れていた。
WSJでは,単語誤り率3.65%のトランスフォーマーに基づくエンドツーエンド音声認識のベンチマークを新たに設定した。
論文 参考訳(メタデータ) (2021-07-02T21:01:17Z) - Sparsification via Compressed Sensing for Automatic Speech Recognition [0.0]
大規模機械学習アプリケーションはモデル量子化と圧縮を必要とする。
本稿では,これらの問題に効果的に対応するために,圧縮センシングベースプルーニング(CSP)手法を提案する。
CSPは文学における既存のアプローチよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-02-09T16:41:31Z) - Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。
実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
論文 参考訳(メタデータ) (2020-10-28T15:00:09Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳(メタデータ) (2020-07-27T09:01:22Z) - AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks [98.71508718214935]
既存のGAN圧縮アルゴリズムは、特定のGANアーキテクチャの処理と損失に限られている。
近年の深部圧縮におけるAutoMLの成功に触発されて,GAN圧縮にAutoMLを導入し,AutoGAN-Distillerフレームワークを開発した。
我々はAGDを画像翻訳と超解像の2つの代表的なGANタスクで評価する。
論文 参考訳(メタデータ) (2020-06-15T07:56:24Z) - Streaming automatic speech recognition with the transformer model [59.58318952000571]
本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。
本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。
提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
論文 参考訳(メタデータ) (2020-01-08T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。