論文の概要: EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
- arxiv url: http://arxiv.org/abs/2104.07474v1
- Date: Tue, 13 Apr 2021 23:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 15:09:18.052227
- Title: EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
- Title(参考訳): EAT:自己教師型音声認識のためのASR-TTSの強化
- Authors: Murali Karthick Baskar, Luk\'a\v{s} Burget, Shinji Watanabe, Ramon
Fernandez Astudillo, and Jan "Honza'' \v{C}ernock\'y
- Abstract要約: ASR-TTS(EAT)モデルを2つの特徴を組み込んだ強化モデルを提案します。
EATはLibrispeechおよびBABELの絶対2.6%および2.7%によって監督された訓練および自己監督された訓練間の性能のギャップをそれぞれ減らします。
- 参考スコア(独自算出の注目度): 43.702644305349054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised ASR-TTS models suffer in out-of-domain data conditions. Here
we propose an enhanced ASR-TTS (EAT) model that incorporates two main features:
1) The ASR$\rightarrow$TTS direction is equipped with a language model reward
to penalize the ASR hypotheses before forwarding it to TTS. 2) In the
TTS$\rightarrow$ASR direction, a hyper-parameter is introduced to scale the
attention context from synthesized speech before sending it to ASR to handle
out-of-domain data. Training strategies and the effectiveness of the EAT model
are explored under out-of-domain data conditions. The results show that EAT
reduces the performance gap between supervised and self-supervised training
significantly by absolute 2.6\% and 2.7\% on Librispeech and BABEL
respectively.
- Abstract(参考訳): 自己管理型ASR-TTSモデルはドメイン外データ条件に悩まされる。
1) ASR$\rightarrow$TTS方向は、TSに転送する前にASR仮説をペナルティ化する言語モデル報酬を備える。
2) TTS$\rightarrow$ASR 方向では,合成音声から注目コンテキストを拡大するためにハイパーパラメータを導入し,ASR に送信してドメイン外データを処理する。
ドメイン外データ条件下でのトレーニング戦略とEATモデルの有効性について検討した。
その結果、EATは、リブリスペヒとBABELの絶対2.6\%と2.7\%とで、教師付きトレーニングと自己指導型トレーニングのパフォーマンスギャップを著しく減少させることがわかった。
関連論文リスト
- End-to-End Speech Recognition: A Survey [68.35707678386949]
本調査の目的は、E2E ASRモデルの分類とそれに対応する改善を提供することである。
E2E ASRのすべての関連する側面は、パフォーマンスとデプロイメントの機会に関する議論を伴う、この作業でカバーされている。
論文 参考訳(メタデータ) (2023-03-03T01:46:41Z) - Multiple-hypothesis RNN-T Loss for Unsupervised Fine-tuning and
Self-training of Neural Transducer [20.8850874806462]
本稿では、ラベルなし音声データを用いて教師なしの微調整と自己学習を行うための新しい手法を提案する。
微調整作業のために、ASRモデルはウォールストリートジャーナル(WSJ)、オーロラ4、およびCHiME-4の実雑音データをラベルなしデータとしてトレーニングする。
自己学習タスクでは,ウォール・ストリート・ジャーナル(WSJ)やオーロラ4(Aurora-4)の教師付きデータとCHiME-4の実雑音データをラベルなしデータとしてトレーニングする。
論文 参考訳(メタデータ) (2022-07-29T15:14:03Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - ASR-Aware End-to-end Neural Diarization [15.172086811068962]
本稿では、音響入力と自動音声認識(ASR)モデルから得られる特徴の両方を用いて、コンフォーマーに基づくエンドツーエンドニューラルダイアリゼーション(EEND)モデルを提案する。
この機能を組み込むために、ConformerベースのEENDアーキテクチャの3つの変更が提案されている。
Switchboard+SREデータセットの2つの話者による英語会話実験により、単語位置情報を用いたマルチタスク学習がASR特徴を利用する最も効果的な方法であることが示された。
論文 参考訳(メタデータ) (2022-02-02T21:17:14Z) - Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる
ASR誤差はカスケード法における出力要約の品質に直接影響する。
本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
論文 参考訳(メタデータ) (2021-11-16T03:00:29Z) - Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative
Adversarial Networks [10.723935272906461]
近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。
GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。
提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
論文 参考訳(メタデータ) (2021-03-10T17:40:48Z) - Dual-mode ASR: Unify and Improve Streaming ASR with Full-context
Modeling [76.43479696760996]
本稿では,ストリーミングとフルコンテキスト音声認識の両方に共通重みを持つ単一エンドツーエンドのASRモデルをトレーニングするための統合フレームワークであるDual-mode ASRを提案する。
そこで本研究では,ストリーミングASRのレイテンシと精度が,重み共有とフルコンテキストASRの連成訓練のメリットを顕著に示す。
論文 参考訳(メタデータ) (2020-10-12T21:12:56Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳(メタデータ) (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。