論文の概要: Learning a Dual-Mode Speech Recognition Model via Self-Pruning

• arxiv url: http://arxiv.org/abs/2207.11906v1
• Date: Mon, 25 Jul 2022 05:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:28:07.675918
• Title: Learning a Dual-Mode Speech Recognition Model via Self-Pruning
• Title（参考訳）: 自己表現によるデュアルモード音声認識モデルの学習
• Authors: Chunxi Liu, Yuan Shangguan, Haichuan Yang, Yangyang Shi, Raghuraman Krishnamoorthi, Ozlem Kalinli
• Abstract要約: 本研究の目的は、小型のデバイスオンデバイスストリーミングASRモデルと、大規模なサーバ非ストリーミングモデルとを1つのスーパーネットで共同で学習することである。 本稿では、wav2vec 2.0の自己教師型学習と教師型ASRファインチューニングの両方でスーパーネットトレーニングを行うことで、従来の作業のように大規模な非ストリーミングモデルを大幅に改善できるだけでなく、コンパクトなスパースストリーミングモデルも改善できることを示す。
• 参考スコア（独自算出の注目度）: 18.248552732790852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is growing interest in unifying the streaming and full-context automatic speech recognition (ASR) networks into a single end-to-end ASR model to simplify the model training and deployment for both use cases. While in real-world ASR applications, the streaming ASR models typically operate under more storage and computational constraints - e.g., on embedded devices - than any server-side full-context models. Motivated by the recent progress in Omni-sparsity supernet training, where multiple subnetworks are jointly optimized in one single model, this work aims to jointly learn a compact sparse on-device streaming ASR model, and a large dense server non-streaming model, in a single supernet. Next, we present that, performing supernet training on both wav2vec 2.0 self-supervised learning and supervised ASR fine-tuning can not only substantially improve the large non-streaming model as shown in prior works, and also be able to improve the compact sparse streaming model.
• Abstract（参考訳）: ストリーミングとフルコンテキスト自動音声認識(ASR)ネットワークを単一エンドツーエンドのASRモデルに統合して、両方のユースケースにおけるモデルトレーニングとデプロイを簡略化することに関心が高まっている。 現実世界のASRアプリケーションでは、ストリーミングのASRモデルは、通常、どんなサーバーサイドのフルコンテキストモデルよりも多くのストレージと計算上の制約の下で動作します。 Omni-Sparsity Supernet Trainingの最近の進歩により、複数のサブネットが1つのモデルで共同で最適化されるようになり、デバイス上でのコンパクトなストリーミングASRモデルと大規模なサーバ非ストリーミングモデルを1つのスーパーネットで共同で学習することを目指している。 次に、wav2vec 2.0の自己教師付き学習と教師付きasrの微調整の両方でスーパーネットトレーニングを行うことで、先行研究で示したような大規模非ストリーミングモデルを大幅に改善できるだけでなく、コンパクトなスパースストリーミングモデルも改善できることを示す。

関連論文リスト

• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• TODM: Train Once Deploy Many Efficient Supernet-Based RNN-T Compression For On-device ASR Models [30.758876520227666]
  TODMは、ハードウェアフレンドリーなオンデバイスASRモデルの多くのサイズを、単一のトレーニングジョブと同等のGPU時間で効率的にトレーニングするための、新しいアプローチである。 我々は,TODMスーパーネットの結果を改善するために,新しい3つの手法の組み合わせを導入する。 結果から,TODMスーパーネットは単語誤り率(WER)において,最大3%の精度で手動調整モデルの性能に適合するか,上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-05T04:47:55Z)
• A Lexical-aware Non-autoregressive Transformer-based ASR Model [9.500518278458905]
  本稿では,音響エンコーダ,音声テキスト共有エンコーダ,音声テキスト共有デコーダで構成される,語彙対応非自己回帰トランスフォーマベース(LA-NAT)ASRフレームワークを提案する。 LA-NATは,語彙情報をASRモデルに認識させることを目的としており,学習した言語知識を活用することにより,より良い結果が得られることが期待されている。
  論文  参考訳（メタデータ） (2023-05-18T09:50:47Z)
• Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition [7.450574974954803]
  スマートデバイスにおける小さなメモリ帯域幅は、より小さな自動音声認識(ASR)モデルの開発を促す。 知識蒸留(KD)は、より小さなモデルサイズを達成するための一般的なモデル圧縮手法である。 KDを用いてコンバータトランスデューサモデルを圧縮する多段階プログレッシブアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-01T02:23:00Z)
• Streaming Multi-Talker ASR with Token-Level Serialized Output Training [53.11450530896623]
  t-SOTはマルチトーカー自動音声認識のための新しいフレームワークである。 t-SOTモデルには、推論コストの低減とよりシンプルなモデルアーキテクチャの利点がある。 重複しない音声の場合、t-SOTモデルは精度と計算コストの両面において単一ストーカーのASRモデルと同等である。
  論文  参考訳（メタデータ） (2022-02-02T01:27:21Z)
• Self-Attention for Audio Super-Resolution [0.0]
  畳み込みと自己認識を組み合わせた超高解像度オーディオのためのネットワークアーキテクチャを提案する。 Attention-based Feature-Wise Linear Modulation (AFiLM) は、畳み込みモデルの活性化を変調するために、リカレントニューラルネットワークの代わりに自己アテンションメカニズムを使用する。
  論文  参考訳（メタデータ） (2021-08-26T08:05:07Z)
• Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling [76.43479696760996]
  本稿では,ストリーミングとフルコンテキスト音声認識の両方に共通重みを持つ単一エンドツーエンドのASRモデルをトレーニングするための統合フレームワークであるDual-mode ASRを提案する。 そこで本研究では,ストリーミングASRのレイテンシと精度が,重み共有とフルコンテキストASRの連成訓練のメリットを顕著に示す。
  論文  参考訳（メタデータ） (2020-10-12T21:12:56Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。