論文の概要: Neural Language Model Pruning for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2310.03424v1
• Date: Thu, 5 Oct 2023 10:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:45:37.700960
• Title: Neural Language Model Pruning for Automatic Speech Recognition
• Title（参考訳）: 自動音声認識のための言語モデルプルーニング
• Authors: Leonardo Emili, Thiago Fraga-Silva, Ernest Pusateri, Markus Nu{\ss}baum-Thom, Youssef Oualil
• Abstract要約: 自動音声認識のためのトランスフォーマーベースニューラルネットワークモデルに適用したモデルプルーニング法について検討した。 本研究では,プルーニングフレーム作業の3つの側面,すなわちクレーター,メソッド,スケジューラを探索し,それらの寄与を精度と推論速度の観点から分析する。
• 参考スコア（独自算出の注目度）: 4.10609794373612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study model pruning methods applied to Transformer-based neural network language models for automatic speech recognition. We explore three aspects of the pruning frame work, namely criterion, method and scheduler, analyzing their contribution in terms of accuracy and inference speed. To the best of our knowledge, such in-depth analyses on large-scale recognition systems has not been reported in the literature. In addition, we propose a variant of low-rank approximation suitable for incrementally compressing models, and delivering multiple models with varied target sizes. Among other results, we show that a) data-driven pruning outperforms magnitude-driven in several scenarios; b) incremental pruning achieves higher accuracy compared to one-shot pruning, especially when targeting smaller sizes; and c) low-rank approximation presents the best trade-off between size reduction and inference speed-up for moderate compression.
• Abstract（参考訳）: 本研究では,自動音声認識のためのトランスフォーマティブニューラルネットワークモデルに適用したモデルプルーニング手法について検討する。 プルーニングフレーム作業の3つの側面,すなわち基準,メソッド,スケジューラについて検討し,その貢献度を精度と推論速度の観点から分析した。 我々の知る限り、このような大規模認識システムに関する詳細な分析は文献には報告されていない。 さらに,増分圧縮モデルに適した低ランク近似の変種を提案し,ターゲットサイズが異なる複数のモデルを提供する。 その他の結果の中では a) データ駆動型プルーニングは,いくつかのシナリオにおいて大局的に機能する b) インクリメンタルプルーニングは,ワンショットプルーニングに比べて,特に小さいサイズをターゲットとした場合において,高い精度を達成している。 c) 低ランク近似は、適度な圧縮のためにサイズ縮小と推論スピードアップの最良のトレードオフを示す。

関連論文リスト

• Optimization of DNN-based speaker verification model through efficient quantization technique [15.250677730668466]
  ディープモデルの量子化は、計算コストとメモリコストの両方を削減する手段を提供する。 本研究では,話者検証モデルの定量化のための最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-12T05:03:10Z)
• Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation [7.056222499095849]
  ビームサーチは 予測分布を用いて 最大限の確率で 書き起こしを求める 最近提案された自己監督学習(SSL)ベースのASRモデルは、極めて確実な予測をもたらす傾向があることを示す。 細調整されたASRモデルの性能を向上させる復号法を提案する。
  論文  参考訳（メタデータ） (2022-12-27T06:42:26Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• An Efficient Deep Learning Model for Automatic Modulation Recognition Based on Parameter Estimation and Transformation [3.3941243094128035]
  本稿では,位相パラメータ推定と変換に基づく効率的なDL-AMRモデルを提案する。 我々のモデルは、類似の認識精度を持つベンチマークモデルよりも、トレーニング時間とテスト時間で競争力がある。
  論文  参考訳（メタデータ） (2021-10-11T03:28:28Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech [63.03318307254081]
  TERA は Transformer Representations from Alteration の略である。 我々は3つの軸に沿った変形を用いて、大量のラベルなし音声でトランスフォーマーを事前訓練する。 TERAは、音声表現の抽出や下流モデルによる微調整に使用することができる。
  論文  参考訳（メタデータ） (2020-07-12T16:19:00Z)
• Attention based on-device streaming speech recognition with large speech corpus [16.702653972113023]
  大規模(>10K時間)コーパスで学習したモノトニックチャンクワイド・アテンション(MoChA)モデルに基づいて,新しいオンデバイス自動音声認識(ASR)システムを提案する。 一般ドメインにおける単語認識率の約90%は、主にコネクショニスト時間分類器(CTC)とクロスエントロピー(CE)の併用訓練を用いて達成した。 オンデマンド適応では,MoChAモデルを統計的n-gramモデルに融合し,一般ドメインを含む対象ドメインの平均単語誤り率(WER)を36%向上させることができた。
  論文  参考訳（メタデータ） (2020-01-02T04:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。