論文の概要: An Effective Training Framework for Light-Weight Automatic Speech Recognition Models

• arxiv url: http://arxiv.org/abs/2505.16991v1
• Date: Thu, 22 May 2025 17:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.536988
• Title: An Effective Training Framework for Light-Weight Automatic Speech Recognition Models
• Title（参考訳）: 軽量自動音声認識モデルのための効果的な学習フレームワーク
• Authors: Abdul Hannan, Alessio Brutti, Shah Nawaz, Mubashir Noman,
• Abstract要約: 一つの大モデルから複数の小さなモデルを生成することができる2段階の効率的な表現学習手法を提案する。 提案手法は,単語誤り率を最大12.54%向上させる3倍の学習速度を実現する。
• 参考スコア（独自算出の注目度）: 10.295690160466936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancement in deep learning encouraged developing large automatic speech recognition (ASR) models that achieve promising results while ignoring computational and memory constraints. However, deploying such models on low resource devices is impractical despite of their favorable performance. Existing approaches (pruning, distillation, layer skip etc.) transform the large models into smaller ones at the cost of significant performance degradation or require prolonged training of smaller models for better performance. To address these issues, we introduce an efficacious two-step representation learning based approach capable of producing several small sized models from a single large model ensuring considerably better performance in limited number of epochs. Comprehensive experimentation on ASR benchmarks reveals the efficacy of our approach, achieving three-fold training speed-up and up to 12.54% word error rate improvement.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、計算とメモリの制約を無視しつつ、有望な結果を達成する大規模な自動音声認識(ASR)モデルの開発を奨励している。 しかし、そのようなモデルを低リソースデバイスにデプロイするのは、好成績にもかかわらず実用的ではない。 既存のアプローチ(プルーニング、蒸留、層スキップなど)は、大きなモデルを大きな性能劣化のコストで小さなモデルに変換するか、より優れた性能を得るためにより小さなモデルの長期の訓練を必要とする。 これらの課題に対処するため,本研究では,限られたエポック数において性能が著しく向上した1つの大モデルから,複数の小型モデルを生成可能な,効果的な2段階表現学習アプローチを提案する。 ASRベンチマークの総合的な実験により,3倍のトレーニング速度向上,最大12.54%の単語誤り率向上を実現し,本手法の有効性が明らかとなった。

関連論文リスト

• Training Language Models to Reason Efficiently [14.390800014819439]
  我々は、強化学習を用いて、大きな推論モデルを訓練し、効率的に推論する。 精度を維持しながら不要な計算オーバーヘッドを最小限に抑えるため,本手法はモデルにインセンティブを与える。 2つのオープンウェイトな大推論モデルに対する実験は、ほとんどの精度を保ちながら、推論コストを著しく削減することを示した。
  論文  参考訳（メタデータ） (2025-02-06T19:18:16Z)
• Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
  本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T01:09:23Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Exploring Effective Distillation of Self-Supervised Speech Models for Automatic Speech Recognition [5.802425107635222]
  SSLモデルの小型化は、実用価値の重要な研究方向となっている。 自動音声認識(ASR)のための HuBERT-based SSL モデルの有効蒸留について検討する。 特に低資源シナリオにおいて, 蒸留性能を高めるために, HuBERT の差別的損失を導入した。
  論文  参考訳（メタデータ） (2022-10-27T17:21:14Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。