論文の概要: Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT

• arxiv url: http://arxiv.org/abs/2102.07594v2
• Date: Tue, 16 Feb 2021 01:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:09:14.124741
• Title: Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT
• Title（参考訳）: 非自動回帰モデルとBERTからのクロスモーダルナレッジ転送による高速エンドツーエンド音声認識
• Authors: Ye Bai, Jiangyan Yi, Jianhua Tao, Zhengkun Tian, Zhengqi Wen, Shuai Zhang
• Abstract要約: LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
• 参考スコア（独自算出の注目度）: 72.93855288283059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention-based encoder-decoder (AED) models have achieved promising performance in speech recognition. However, because the decoder predicts text tokens (such as characters or words) in an autoregressive manner, it is difficult for an AED model to predict all tokens in parallel. This makes the inference speed relatively slow. We believe that because the encoder already captures the whole speech utterance, which has the token-level relationship implicitly, we can predict a token without explicitly autoregressive language modeling. When the prediction of a token does not rely on other tokens, the parallel prediction of all tokens in the sequence is realizable. Based on this idea, we propose a non-autoregressive speech recognition model called LASO (Listen Attentively, and Spell Once). The model consists of an encoder, a decoder, and a position dependent summarizer (PDS). The three modules are based on basic attention blocks. The encoder extracts high-level representations from the speech. The PDS uses positional encodings corresponding to tokens to convert the acoustic representations into token-level representations. The decoder further captures token-level relationships with the self-attention mechanism. At last, the probability distribution on the vocabulary is computed for each token position. Therefore, speech recognition is re-formulated as a position-wise classification problem. Further, we propose a cross-modal transfer learning method to refine semantics from a large-scale pre-trained language model BERT for improving the performance.
• Abstract（参考訳）: アテンションベースエンコーダデコーダ(AED)モデルは音声認識において有望な性能を達成した。 しかし、デコーダは自動回帰的にテキストトークン(文字や単語など)を予測するため、AEDモデルでは全てのトークンを並列に予測することは困難である。 これにより、推論速度は比較的遅くなります。 我々は、エンコーダがトークンレベルの関係を暗黙的に有する音声発話全体を既に捉えているため、明示的な自己回帰言語モデリングなしにトークンを予測できると信じている。 トークンの予測が他のトークンに依存しない場合、シーケンス内のすべてのトークンの並列予測は実現可能である。 この考え方に基づき, LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。 3つのモジュールは基本的な注意ブロックに基づいている。 エンコーダは、音声から高レベル表現を抽出する。 PDSはトークンに対応する位置エンコーディングを使用して、音響表現をトークンレベル表現に変換する。 デコーダはさらに、自己照準機構とのトークンレベルの関係をキャプチャする。 最後に、各トークン位置毎に語彙上の確率分布を算出する。 このため、位置分類問題として音声認識が再定式化される。 さらに,大規模な事前学習型言語モデルBERTのセマンティクスを洗練し,性能を向上させるためのクロスモーダルトランスファー学習手法を提案する。

関連論文リスト

• RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models [3.4523793651427113]
  本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。 DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
  論文  参考訳（メタデータ） (2022-11-16T08:57:55Z)
• Assessing Phrase Break of ESL speech with Pre-trained Language Models [6.635783609515407]
  本研究は,事前学習言語モデル(PLM)を用いたESL学習者の発話におけるフレーズブレークの評価手法を提案する。 従来の手法とは異なり、この提案では音声をトークンシーケンスに変換し、PLMのパワーを活用する。
  論文  参考訳（メタデータ） (2022-10-28T10:06:06Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems [31.18865184576272]
  この作業は、音声の埋め込みとBERTの埋め込みをトークン単位で整列させる、ずっと効率的できめ細かな方法で、これを行うためのステップです。 音声エンコーダからトークンレベルのコンテキスト埋め込みを抽出するために,クロスモーダルアテンション機構を用いた,シンプルながら斬新な手法を提案する。 音声を用いて意図認識を行うための事前訓練モデルの微調整により、2つの広く使用されているSLUデータセット上での最先端の性能が直接得られる。
  論文  参考訳（メタデータ） (2022-04-11T15:24:25Z)
• Self-supervised Learning with Random-projection Quantizer for Speech Recognition [51.24368930992091]
  音声認識のためのシンプルで効果的な自己教師型学習手法を提案する。 このアプローチは、離散ラベルの形で、マスキングされた音声信号を予測するモデルを学ぶ。 非ストリーミングモデルを用いた自己教師付き学習を用いて、従来の作業と同じような単語エラー率を達成する。
  論文  参考訳（メタデータ） (2022-02-03T21:29:04Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• End-to-end speech-to-dialog-act recognition [38.58540444573232]
  本稿では,音声を直接ダイアログに変換するエンド・ツー・エンドのモデルを提案する。 提案モデルでは,対話行動認識ネットワークは,その潜在層において,音声から単語へのASRモデルと結合する。 ネットワーク全体がエンドツーエンドで微調整されている。
  論文  参考訳（メタデータ） (2020-04-23T18:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。