論文の概要: Augmenting conformers with structured state space models for online speech recognition

• arxiv url: http://arxiv.org/abs/2309.08551v1
• Date: Fri, 15 Sep 2023 17:14:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 13:43:22.907464
• Title: Augmenting conformers with structured state space models for online speech recognition
• Title（参考訳）: オンライン音声認識のための構造化状態空間モデルによるコンフォーメータの拡張
• Authors: Haozhe Shan, Albert Gu, Zhong Meng, Weiran Wang, Krzysztof Choromanski, Tara Sainath
• Abstract要約: モデルが左の文脈のみにアクセスするオンライン音声認識は、ASRシステムにとって重要かつ困難なユースケースである。 構造化状態空間シーケンスモデル(S4)を組み込んだオンラインASRのためのニューラルエンコーダの強化について検討する。 我々の最良のモデルは、LibrispeechによるテストセットでWERの4.01%/8.53%を達成する。
• 参考スコア（独自算出の注目度）: 41.444671189679994
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Online speech recognition, where the model only accesses context to the left, is an important and challenging use case for ASR systems. In this work, we investigate augmenting neural encoders for online ASR by incorporating structured state-space sequence models (S4), which are a family of models that provide a parameter-efficient way of accessing arbitrarily long left context. We perform systematic ablation studies to compare variants of S4 models and propose two novel approaches that combine them with convolutions. We find that the most effective design is to stack a small S4 using real-valued recurrent weights with a local convolution, allowing them to work complementarily. Our best model achieves WERs of 4.01%/8.53% on test sets from Librispeech, outperforming Conformers with extensively tuned convolution.
• Abstract（参考訳）: モデルが左の文脈のみにアクセスするオンライン音声認識は、ASRシステムにとって重要かつ困難なユースケースである。 本研究では、構造化状態空間列モデル(S4)を組み込むことにより、オンラインASRのためのニューラルエンコーダの拡張について検討する。 我々は,s4モデルの変種を比較するための系統的アブレーション研究を行い,これらを畳み込みと組み合わせた2つの新しいアプローチを提案する。 最も効果的な設計は、局所的な畳み込みで実値のリカレント重みを使って小さなS4を積み重ね、補完的に機能させることである。 我々の最良のモデルは、LibrispeechによるテストセットでWERの4.01%/8.53%を達成する。

関連論文リスト

• Multi-Convformer: Extending Conformer with Multiple Convolution Kernels [64.4442240213399]
  我々は,マルチコンバータを導入し,複数のコンバータカーネルをゲーティングと合わせてコンバータの畳み込みモジュール内で利用する。 我々のモデルは、よりパラメータ効率の良いCgMLPやE-Branchformerといった既存のConformerと性能的に競合する。 我々は4つの異なるデータセットと3つの異なるモデリングパラダイムにまたがって、我々のアプローチをConformerとその変種と経験的に比較し、最大8%の相対的な単語誤り率(WER)の改善を示す。
  論文  参考訳（メタデータ） (2024-07-04T08:08:12Z)
• Efficient infusion of self-supervised representations in Automatic Speech Recognition [1.2972104025246092]
  Wav2vecやHuBERTのような自己教師付き学習(SSL)モデルは、音声関連のタスクに対して最先端の結果をもたらす。 本稿では,SSLモデルからASRアーキテクチャへの表現を効率的に組み込むために,フレームワイズ付加と(2)クロスアテンション機構を用いる2つの簡単なアプローチを提案する。 提案手法により,Librispeech と Tedlium のデータセットにおいて,より高速なトレーニングが可能となり,大幅な性能向上が期待できる。
  論文  参考訳（メタデータ） (2024-04-19T05:01:12Z)
• A Neural State-Space Model Approach to Efficient Speech Separation [34.38911304755453]
  ニューラル状態空間モデル(SSM)に基づく新しい効率的な音声分離フレームワークであるS4Mを紹介する。 SSM手法を音声分離タスクに拡張するために、まず入力混合物を異なる解像度のマルチスケール表現に分解する。 実験の結果,S4Mは他の分離バックボーンとSI-SDRiの相容れない性能を示した。 我々のS4M-tinyモデル(1.8Mパラメータ)は、9.2の乗算演算(MAC)しか持たない雑音条件下で、注意に基づくセプフォーマ(26.0Mパラメータ)を超える。
  論文  参考訳（メタデータ） (2023-05-26T13:47:11Z)
• Continual Learning for On-Device Speech Recognition using Disentangled Conformers [54.32320258055716]
  本稿では,LibriVoxオーディオブックから派生した話者固有領域適応のための連続学習ベンチマークを提案する。 本稿では,DistangledCLと呼ばれる計算効率のよい連続学習アルゴリズムを提案する。 実験の結果, DisConformer モデルは一般的な ASR のベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-02T18:58:51Z)
• Structured State Space Decoder for Speech Recognition and Synthesis [9.354721572095272]
  構造化状態空間モデル(S4)が最近提案され、様々な時系列モデリングタスクに対して有望な結果が得られた。 本研究では,S4 を ASR およびテキスト音声タスクのデコーダとして適用し,トランスフォーマーデコーダと比較した。 ASR タスクでは,提案モデルが 1.88%/4.25% の競合単語誤り率 (WER) を達成することを示す。
  論文  参考訳（メタデータ） (2022-10-31T06:54:23Z)
• Liquid Structural State-Space Models [106.74783377913433]
  Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。 全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
  論文  参考訳（メタデータ） (2022-09-26T18:37:13Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• Heterogeneous Reservoir Computing Models for Persian Speech Recognition [0.0]
  Reservoir Computing Model (RC)モデルは、トレーニングに安価であること、パラメータが大幅に少なく、創発的なハードウェア技術と互換性があることが証明されている。 異なるスケールで時間的コンテキストをキャプチャする入力の非線形変換を生成するために、異種単層および多層ESNを提案する。
  論文  参考訳（メタデータ） (2022-05-25T09:15:15Z)
• 4-bit Conformer with Native Quantization Aware Training for Speech Recognition [13.997832593421577]
  そこで本研究では,ネイティブ整数演算を応用し,学習と推論の両方を効果的に最適化する,ネイティブ量子化を考慮した4ビットASRモデルを提案する。 提案した量子化手法を評価するために,最先端のコンフォーマーベースASRモデルに関する2つの実験を行った。 大規模データセットでトレーニングされた実用的なASRシステムにおいて、4ビット量子化が実現可能であることを初めて調査し明らかにした。
  論文  参考訳（メタデータ） (2022-03-29T23:57:15Z)
• A Conformer Based Acoustic Model for Robust Automatic Speech Recognition [63.242128956046024]
  提案手法は,二方向長短期記憶(BLSTM)モデルと発話ワイドドロップアウトと反復話者適応を用いて,最先端の音声認識システムを構築した。 コンフォーマーエンコーダは、音響モデリングに畳み込み強化されたアテンションメカニズムを使用する。 提案システムはCHiME-4コーパスの単調なASRタスクに基づいて評価される。
  論文  参考訳（メタデータ） (2022-03-01T20:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。