論文の概要: DelightfulTTS: The Microsoft Speech Synthesis System for Blizzard Challenge 2021

• arxiv url: http://arxiv.org/abs/2110.12612v1
• Date: Mon, 25 Oct 2021 02:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 18:18:15.141759
• Title: DelightfulTTS: The Microsoft Speech Synthesis System for Blizzard Challenge 2021
• Title（参考訳）: DelightfulTTS: Blizzard Challenge 2021のためのMicrosoft音声合成システム
• Authors: Yanqing Liu, Zhihang Xu, Gang Wang, Kuan Chen, Bohan Li, Xu Tan, Jinzhu Li, Lei He, Sheng Zhao
• Abstract要約: 本稿では、Microsoftのエンドツーエンドニューラルテキスト音声合成システム(TTS: DelightfulTTS for Blizzard Challenge 2021)について述べる。 この課題の目的は、テキストから自然かつ高品質な音声を合成することであり、我々はこの目標に2つの視点でアプローチする。
• 参考スコア（独自算出の注目度）: 31.750875486806184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes the Microsoft end-to-end neural text to speech (TTS) system: DelightfulTTS for Blizzard Challenge 2021. The goal of this challenge is to synthesize natural and high-quality speech from text, and we approach this goal in two perspectives: The first is to directly model and generate waveform in 48 kHz sampling rate, which brings higher perception quality than previous systems with 16 kHz or 24 kHz sampling rate; The second is to model the variation information in speech through a systematic design, which improves the prosody and naturalness. Specifically, for 48 kHz modeling, we predict 16 kHz mel-spectrogram in acoustic model, and propose a vocoder called HiFiNet to directly generate 48 kHz waveform from predicted 16 kHz mel-spectrogram, which can better trade off training efficiency, modelling stability and voice quality. We model variation information systematically from both explicit (speaker ID, language ID, pitch and duration) and implicit (utterance-level and phoneme-level prosody) perspectives: 1) For speaker and language ID, we use lookup embedding in training and inference; 2) For pitch and duration, we extract the values from paired text-speech data in training and use two predictors to predict the values in inference; 3) For utterance-level and phoneme-level prosody, we use two reference encoders to extract the values in training, and use two separate predictors to predict the values in inference. Additionally, we introduce an improved Conformer block to better model the local and global dependency in acoustic model. For task SH1, DelightfulTTS achieves 4.17 mean score in MOS test and 4.35 in SMOS test, which indicates the effectiveness of our proposed system
• Abstract（参考訳）: 本稿では、Microsoftのエンドツーエンドニューラルテキスト音声合成システム(TTS: DelightfulTTS for Blizzard Challenge 2021)について述べる。 この課題の目的は、テキストから自然および高品質な音声を合成することであり、まず、48kHzのサンプリングレートで波形を直接モデル化し、生成することであり、16kHzまたは24kHzのサンプリングレートで従来のシステムよりも高い知覚品質をもたらすことである。 具体的には、48kHzのメログラムを音響モデルで予測し、予測された16kHzのメログラムから直接48kHzの波形を生成するためのHiFiNetというボコーダを提案する。 我々は、明示的(話者ID、言語ID、ピッチと持続時間)と暗黙的(発話レベル、音素レベル)の両方の観点から、変動情報を体系的にモデル化する。 1) 話者と言語idには, 学習と推論にルックアップ埋め込みを用いる。 2) ピッチと継続時間について, 学習中のテキスト音声データから値を抽出し, 2つの予測器を用いて推定値を予測する。 3) 発話レベルと音素レベルの韻律では、2つの参照エンコーダを用いて訓練中の値を抽出し、2つの別々の予測器を用いて推論の値を予測する。 さらに,音響モデルの局所的および大域的依存性をモデル化するための改良されたコンフォーマーブロックを導入する。 タスクSH1の場合、DeffulTTSはMOSテストの4.17点、SMOSテストの4.35点を達成し、提案システムの有効性を示す。

関連論文リスト

• Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
  Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T08:54:49Z)
• NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers [90.83782600932567]
  残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。 本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。 NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
  論文  参考訳（メタデータ） (2023-04-18T16:31:59Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• JETS: Jointly Training FastSpeech2 and HiFi-GAN for End to End Text to Speech [7.476901945542385]
  本稿では、簡易な訓練パイプラインを持ち、個別に学習したモデルのカスケードを上回り、エンドツーエンドのテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルでは,アライメントモジュールを用いたFastSpeech2とHiFi-GANを併用する。 LJSpeechコーパスの実験では、提案されたモデルはESPNet2-TTSの最先端実装よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-31T07:25:11Z)
• WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis [80.60577805727624]
  WaveGrad 2は音声合成のための非自己回帰生成モデルである。 最先端のニューラルTSシステムの性能に近づき、高忠実度オーディオを生成することができる。
  論文  参考訳（メタデータ） (2021-06-17T17:09:21Z)
• Voice2Series: Reprogramming Acoustic Models for Time Series Classification [65.94154001167608]
  Voice2Seriesは、時系列分類のための音響モデルをプログラムする新しいエンドツーエンドアプローチである。 V2Sは20のタスクで性能が優れるか、最先端のメソッドと結びついているかを示し、平均精度を1.84%向上させる。
  論文  参考訳（メタデータ） (2021-06-17T07:59:15Z)
• Deep Learning Based Assessment of Synthetic Speech Naturalness [14.463987018380468]
  合成音声の自然性に対する新たな客観的予測モデルを提案する。 Text-To-SpeechまたはVoice Conversionシステムの評価に使用できる。
  論文  参考訳（メタデータ） (2021-04-23T16:05:20Z)
• A Comparison of Discrete Latent Variable Models for Speech Representation Learning [46.52258734975676]
  本稿では,入力信号の予測や自動符号化に基づく2つのアプローチの比較を行う。 結果,vq-wav2vecによる将来の時間ステップ予測により,性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-10-24T01:22:14Z)
• Vector-quantized neural networks for acoustic unit discovery in the ZeroSpeech 2020 challenge [26.114011076658237]
  音声の離散表現を学習する問題に対処する2つのニューラルモデルを提案する。 第1モデルはベクトル量子化変分オートエンコーダ(VQ-VAE)の一種である。 第2のモデルはベクトル量子化と対比予測符号化(VQ-CPC)を組み合わせる 我々は、ZeroSpeech 2020チャレンジにおいて、英語とインドネシア語のデータをモデルとして評価した。
  論文  参考訳（メタデータ） (2020-05-19T13:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。