論文の概要: Cascaded encoders for unifying streaming and non-streaming ASR

• arxiv url: http://arxiv.org/abs/2010.14606v1
• Date: Tue, 27 Oct 2020 20:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 12:41:26.068218
• Title: Cascaded encoders for unifying streaming and non-streaming ASR
• Title（参考訳）: ストリーミングと非ストリーミングのasrを統一するカスケードエンコーダ
• Authors: Arun Narayanan, Tara N. Sainath, Ruoming Pang, Jiahui Yu, Chung-Cheng Chiu, Rohit Prabhavalkar, Ehsan Variani, Trevor Strohman
• Abstract要約: この研究は、両方のモードで同時に動作可能な単一のE2E ASRモデルを構築するためのカスケードエンコーダを提示する。 シングルデコーダは、ストリーミングの出力または非ストリーミングエンコーダを使用してデコーダを学習する。 その結果,このモデルはストリーミングモードで動作する場合,スタンドアロンのストリーミングモデルと同様のワードエラー率(WER)を実現し,非ストリーミングモードで動作する場合,10%～27%の相対的改善が得られた。
• 参考スコア（独自算出の注目度）: 68.62941009369125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end (E2E) automatic speech recognition (ASR) models, by now, have shown competitive performance on several benchmarks. These models are structured to either operate in streaming or non-streaming mode. This work presents cascaded encoders for building a single E2E ASR model that can operate in both these modes simultaneously. The proposed model consists of streaming and non-streaming encoders. Input features are first processed by the streaming encoder; the non-streaming encoder operates exclusively on the output of the streaming encoder. A single decoder then learns to decode either using the output of the streaming or the non-streaming encoder. Results show that this model achieves similar word error rates (WER) as a standalone streaming model when operating in streaming mode, and obtains 10% -- 27% relative improvement when operating in non-streaming mode. Our results also show that the proposed approach outperforms existing E2E two-pass models, especially on long-form speech.
• Abstract（参考訳）: エンドツーエンド(E2E)自動音声認識(ASR)モデルは、現在、いくつかのベンチマークで競合性能を示している。 これらのモデルはストリーミングモードまたは非ストリーミングモードで動作するように構成されている。 この研究は、両方のモードで同時に動作可能な単一のE2E ASRモデルを構築するためのカスケードエンコーダを提示する。 提案モデルはストリーミングと非ストリーミングエンコーダで構成される。 入力機能はストリーミングエンコーダによって最初に処理され、非ストリーミングエンコーダはストリーミングエンコーダの出力にのみ依存する。 単一のデコーダは、ストリーミングまたは非ストリーミングエンコーダの出力を使用してデコードすることを学ぶ。 その結果,このモデルはストリーミングモードで動作する場合,スタンドアロンのストリーミングモデルと同様のワードエラー率(WER)を実現し,非ストリーミングモードで動作する場合,10%～27%の相対的改善が得られた。 また,提案手法は既存のE2E2パスモデル,特に長文音声よりも優れていることを示す。

関連論文リスト

• Frieren: Efficient Video-to-Audio Generation with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation [44.94458898538114]
  マルチデコーダと知識蒸留に基づくストリーミングと非ストリーミングASRの連成最適化を提案する。 評価の結果,ストリーミングASRのCSJでは2.6%-5.3%,ストリーミングASRでは8.3%-9.7%,非ストリーミングASRでは8.3%-9.7%であった。
  論文  参考訳（メタデータ） (2024-05-22T10:17:30Z)
• Streaming Sequence Transduction through Dynamic Compression [55.0083843520833]
  本稿では,ストリーム上の効率のよいシーケンス・ツー・シーケンス・トランスダクションを設計した新しいトランスフォーマーモデルであるSTAR(Stream Transduction with Anchor Representations)を紹介する。 STARは入力ストリームを動的にセグメント化して圧縮アンカー表現を生成し、自動音声認識(ASR)においてほぼロスレス圧縮(12x)を達成する STARは、音声とテキストの同時タスクにおいて、セグメンテーションとレイテンシ品質のトレードオフが優れており、レイテンシ、メモリフットプリント、品質が最適化されている。
  論文  参考訳（メタデータ） (2024-02-02T06:31:50Z)
• Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition [20.052245837954175]
  本稿では,FastConformerアーキテクチャに基づく,効率的かつ正確な音声認識モデルを提案する。 我々は,非自己回帰エンコーダが推論中に自己回帰的に動作できるようにするために,アクティベーションキャッシング機構を導入する。 CTCとRNNTデコーダを共用した共有エンコーダを用いたハイブリッドCTC/RNNTアーキテクチャにより、精度の向上と計算の保存が可能となる。
  論文  参考訳（メタデータ） (2023-12-27T21:04:26Z)
• Faster Diffusion: Rethinking the Role of UNet Encoder in Diffusion Models [95.47438940934413]
  UNetエンコーダの最初の包括的な研究を行う。 エンコーダの特徴は緩やかに変化するが,デコーダの特徴は時間経過によって大きく変化する。 伝搬方式の利点を生かして,特定の時間ステップでデコーダを並列に実行することが可能となる。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• Efficient Encoders for Streaming Sequence Tagging [13.692806815196077]
  ストリーミングシーケンスタギングのための最先端双方向エンコーダの単純適用には、インクリメンタルストリーミング入力(書き起こし音声など)において、新しいトークンごとにスクラッチから各トークンをエンコードする必要がある。 以前の計算の再利用性の欠如により、浮動小数点演算(FLOP)の数が増加し、不要なラベルフリップの数が増加した。 オフライン(あるいは完全)入力上で双方向エンコーダの性能を維持しながら,これらの問題に対処するHEAR(Adaptive Restart)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T02:20:39Z)
• On Comparison of Encoders for Attention based End to End Speech Recognition in Standalone and Rescoring Mode [1.7704011486040847]
  非ストリーミングモデルは、オーディオコンテキスト全体を見ると、より良いパフォーマンスを提供する。 我々はTransformerモデルが最低レイテンシ要件で許容できるWERを提供することを示す。 We highlight the importance of CNN front-end with Transformer architecture to achieve comparable word error rate (WER)。
  論文  参考訳（メタデータ） (2022-06-26T09:12:27Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition [19.971343876930767]
  ストリーミングと非ストリーミングエンドツーエンド(E2E)音声認識を1つのモデルで統一する,新たな2パス方式を提案する。 本モデルでは,エンコーダのコンフォメータ層を改良したハイブリッドCTC/アテンションアーキテクチャを採用している。 オープンな170時間AISHELL-1データセットの実験により、提案手法はストリーミングモデルと非ストリーミングモデルを簡便かつ効率的に統一できることを示した。
  論文  参考訳（メタデータ） (2020-12-10T06:54:54Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。