論文の概要: Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss

• arxiv url: http://arxiv.org/abs/2002.02562v2
• Date: Fri, 14 Feb 2020 21:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 05:02:10.539142
• Title: Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
• Title（参考訳）: Transformer Transducer: Transformer Encoder と RNN-T Loss を用いたストリーム型音声認識モデル
• Authors: Qian Zhang, Han Lu, Hasim Sak, Anshuman Tripathi, Erik McDermott, Stephen Koo, Shankar Kumar
• Abstract要約: 本稿では,ストリーム音声認識システムで使用可能なTransformerエンコーダを用いたエンドツーエンド音声認識モデルを提案する。 自己アテンションに基づくトランスフォーマー計算ブロックは、オーディオシーケンスとラベルシーケンスの両方を独立に符号化するために使用される。 We present results on the LibriSpeech dataset shows that limiting the left context for self-attention makes decodinglytractable for streaming。
• 参考スコア（独自算出の注目度）: 14.755108017449295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we present an end-to-end speech recognition model with Transformer encoders that can be used in a streaming speech recognition system. Transformer computation blocks based on self-attention are used to encode both audio and label sequences independently. The activations from both audio and label encoders are combined with a feed-forward layer to compute a probability distribution over the label space for every combination of acoustic frame position and label history. This is similar to the Recurrent Neural Network Transducer (RNN-T) model, which uses RNNs for information encoding instead of Transformer encoders. The model is trained with the RNN-T loss well-suited to streaming decoding. We present results on the LibriSpeech dataset showing that limiting the left context for self-attention in the Transformer layers makes decoding computationally tractable for streaming, with only a slight degradation in accuracy. We also show that the full attention version of our model beats the-state-of-the art accuracy on the LibriSpeech benchmarks. Our results also show that we can bridge the gap between full attention and limited attention versions of our model by attending to a limited number of future frames.
• Abstract（参考訳）: 本稿では,ストリーミング音声認識システムで使用可能なTransformerエンコーダを用いたエンドツーエンド音声認識モデルを提案する。 自己アテンションに基づくトランスフォーマー計算ブロックは、オーディオシーケンスとラベルシーケンスの両方を独立にエンコードするために使用される。 オーディオエンコーダとラベルエンコーダの両方からのアクティベーションをフィードフォワード層と組み合わせて、音響フレーム位置とラベル履歴の組合せ毎にラベル空間上の確率分布を算出する。 これは、Transformerエンコーダの代わりに情報エンコーディングにRNNを使用するRecurrent Neural Network Transducer (RNN-T)モデルに似ている。 このモデルはストリーミング復号化に適したRNN-T損失で訓練されている。 本稿では, トランスフォーマー層における自己付着の左コンテキストを制限することで, ストリーミングの計算性が向上することを示すlibrispeechデータセットについて報告する。 また、我々のモデルの全注目バージョンが、LibriSpeechベンチマークの最先端の精度を上回ります。 また,本モデルでは,今後のフレーム数を限定することで,全注意と限定注意とのギャップを埋めることができることを示した。

関連論文リスト

• Autoregressive Diffusion Transformer for Text-to-Speech Synthesis [39.32761051774537]
  連続空間$mathbb Rd$のベクトル列として音響を符号化し、これらの列を自己回帰的に生成する。 高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。
  論文  参考訳（メタデータ） (2024-06-08T18:57:13Z)
• TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
  TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。 また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。 また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
  論文  参考訳（メタデータ） (2023-08-21T01:52:01Z)
• Masked Autoencoders that Listen [79.99280830830854]
  本稿では,画像ベースMasked Autoencoders(MAE)の音声スペクトログラムからの自己教師型表現学習への簡単な拡張について検討する。 MAEにおけるTransformer encoder-decoderの設計に続いて、Audio-MAEはまず、ハイマスキング比でオーディオスペクトログラムパッチを符号化し、エンコーダ層を介して非マスキングトークンのみを供給します。 次にデコーダは、入力スペクトログラムを再構築するために、マスクトークンでパッドされたエンコードされたコンテキストを再注文し、デコードする。
  論文  参考訳（メタデータ） (2022-07-13T17:59:55Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding [21.978994865937786]
  この方法は、テキスト機能とオーディオ機能の両方に対応するトランスフォーマーデコーダを各ステップで共有する、いくつかの改善ステップを実行する。 本研究では,ストリーミングRNN-Tモデルの仮説アライメントを条件に,第1パスRNN-Tよりも精度の高い認識結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-12-01T01:34:28Z)
• Audio Captioning Transformer [44.68751180694813]
  音声キャプションは、音声クリップの自然言語記述を自動的に生成することを目的としている。 ほとんどのキャプションモデルはエンコーダ-デコーダアーキテクチャに従っており、デコーダはエンコーダによって抽出された音声特徴に基づいて単語を予測する。 本稿では,エンコーダデコーダアーキテクチャに基づくフルトランスフォーマネットワークであるAudio Captioning Transformer (ACT)を提案する。
  論文  参考訳（メタデータ） (2021-07-21T00:31:50Z)
• Transformer Based Deliberation for Two-Pass Speech Recognition [46.86118010771703]
  音声認識システムは、単語を素早く生成し、正確な結果を生成する必要がある。 2つのパスモデルは、単語を素早く出力する1次パスデコーダと、よりコンテキストを必要とするがより正確である2次パスデコーダを使用することで、これらの要求に優れる。 以前は、議論ネットワークが効果的な第2パスモデルになり得ることが証明されていた。
  論文  参考訳（メタデータ） (2021-01-27T18:05:22Z)
• Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition [8.046120977786702]
  Transformerは自動音声認識(ASR)における最先端のエンドツーエンドモデルと競合する性能を達成した エンコーダ-デコーダアーキテクチャを備えたオリジナルのTransformerは、オフラインのASRにのみ適合する。 Conv-Transformer Transducerという名前のこのアーキテクチャは、外部言語モデルなしでLibriSpeechデータセット(3.6% WER on test-clean)の競合性能を実現する。
  論文  参考訳（メタデータ） (2020-08-13T08:20:02Z)
• Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
  相対位置符号化方式を音声変換器に適用する。 その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T09:53:06Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。