論文の概要: A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2304.07611v1
• Date: Sat, 15 Apr 2023 18:34:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 18:16:46.569844
• Title: A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition
• Title（参考訳）: エンド・ツー・エンド自動音声認識のためのctcアライメントに基づく非自己回帰トランス
• Authors: Ruchao Fan, Wei Chu, Peng Chang, and Abeer Alwan
• Abstract要約: CTCアライメントに基づく一段非自己回帰変換器(CASS-NAT)をエンドツーエンドASRに適用する。 自己回帰変換器(AT)への単語埋め込みは、エンコーダ出力から抽出されたトークンレベルの音響埋め込み(TAE)で代用される。 我々は,CASS-NAT が様々な ASR タスクにおいて AT に近い WER を持ち,24 倍の推論速度を提供することを発見した。
• 参考スコア（独自算出の注目度）: 26.79184118279807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, end-to-end models have been widely used in automatic speech recognition (ASR) systems. Two of the most representative approaches are connectionist temporal classification (CTC) and attention-based encoder-decoder (AED) models. Autoregressive transformers, variants of AED, adopt an autoregressive mechanism for token generation and thus are relatively slow during inference. In this paper, we present a comprehensive study of a CTC Alignment-based Single-Step Non-Autoregressive Transformer (CASS-NAT) for end-to-end ASR. In CASS-NAT, word embeddings in the autoregressive transformer (AT) are substituted with token-level acoustic embeddings (TAE) that are extracted from encoder outputs with the acoustical boundary information offered by the CTC alignment. TAE can be obtained in parallel, resulting in a parallel generation of output tokens. During training, Viterbi-alignment is used for TAE generation, and multiple training strategies are further explored to improve the word error rate (WER) performance. During inference, an error-based alignment sampling method is investigated in depth to reduce the alignment mismatch in the training and testing processes. Experimental results show that the CASS-NAT has a WER that is close to AT on various ASR tasks, while providing a ~24x inference speedup. With and without self-supervised learning, we achieve new state-of-the-art results for non-autoregressive models on several datasets. We also analyze the behavior of the CASS-NAT decoder to explain why it can perform similarly to AT. We find that TAEs have similar functionality to word embeddings for grammatical structures, which might indicate the possibility of learning some semantic information from TAEs without a language model.
• Abstract（参考訳）: 近年,自動音声認識(ASR)システムでエンド・ツー・エンドのモデルが広く用いられている。 最も代表的なアプローチは、コネクショニスト時間分類(CTC)とアテンションベースのエンコーダデコーダ(AED)モデルである。 AEDの変種である自己回帰変換器はトークン生成のための自己回帰機構を採用しており、推論中は比較的遅い。 本稿では,CTCアライメントに基づく一段非自己回帰変換器(CASS-NAT)のエンドツーエンドASRに対する総合的研究について述べる。 CASS-NATでは、CTCアライメントによって提供される音響境界情報とともにエンコーダ出力から抽出されるトークンレベル音響埋め込み(TAE)に、自己回帰変換器(AT)内の単語埋め込みを代用する。 TAEは並列に取得でき、出力トークンを並列に生成する。 トレーニング中は、TAE生成にビタビアライメントを使用し、ワードエラー率(WER)のパフォーマンスを改善するために、複数のトレーニング戦略をさらに検討する。 推論中, 誤差に基づくアライメントサンプリング手法を深く検討し, トレーニングおよび試験プロセスにおけるアライメントミスマッチを低減する。 実験の結果、CASS-NAT は様々な ASR タスクにおいて AT に近い WER を持ち、約24倍の推論速度を提供することが示された。 自己教師付き学習がなければ,複数のデータセット上で非自己回帰モデルに対して新たな最先端結果が得られる。 また,CASS-NATデコーダの動作を分析し,ATと同じような動作が可能である理由を説明する。 TAEには文法構造のための単語埋め込みに似た機能があり、言語モデルなしでTAEから意味情報を学習できる可能性を示している。

関連論文リスト

• Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
  この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。 提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。 その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
  論文  参考訳（メタデータ） (2024-06-11T09:37:52Z)
• Unimodal Aggregation for CTC-based Speech Recognition [7.6112706449833505]
  同じテキストトークンに属する特徴フレームをセグメント化し統合するために、UMA(unimodal aggregate)を提案する。 UMAはより優れた特徴表現を学習し、シーケンス長を短縮し、認識エラーと計算複雑性を低減させる。
  論文  参考訳（メタデータ） (2023-09-15T04:34:40Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• An Improved Single Step Non-autoregressive Transformer for Automatic Speech Recognition [28.06475768075206]
  非自己回帰機構は、音声変換器の推論時間を著しく短縮することができる。 CTCアライメントに基づく単一ステップ非自己回帰変換器(CASS-NAT)の以前の研究は、自己回帰変換器(AT)よりも大きなリアルタイム係数(RTF)の改善を示している。 エンド・ツー・エンドのCASS-NATの精度を向上させるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T02:58:30Z)
• N-Best ASR Transformer: Enhancing SLU Performance using Multiple ASR Hypotheses [0.0]
  Spoken Language Understanding (SLU)は、音声をダイアログやスロットのような意味構造に解析する。 提案手法は,低データ体制下での先行技術よりも著しく優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T17:29:00Z)
• Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition [46.69852287267763]
  本稿では,オンライン・ストリーミング・アテンション・ベースのエンコーダ・デコーダ(AED)自動音声認識(ASR)システムの効率的なトレーニング手法について述べる。 提案手法は認識エラーとエミッション遅延を同時に低減する。 最高のMoChAシステムはRNNトランスデューサ(RNN-T)と同等の性能を示します。
  論文  参考訳（メタデータ） (2021-02-28T08:17:38Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings [50.524054820564395]
  そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。 結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
  論文  参考訳（メタデータ） (2020-12-03T19:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。