論文の概要: AdaSpeech: Adaptive Text to Speech for Custom Voice

• arxiv url: http://arxiv.org/abs/2103.00993v1
• Date: Mon, 1 Mar 2021 13:28:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:22:03.921181
• Title: AdaSpeech: Adaptive Text to Speech for Custom Voice
• Title（参考訳）: AdaSpeech:カスタム音声のための音声への適応テキスト
• Authors: Mingjian Chen, Xu Tan, Bohan Li, Yanqing Liu, Tao Qin, Sheng Zhao, Tie-Yan Liu
• Abstract要約: 新しい音声の高品質かつ効率的なカスタマイズのための適応型TSシステムであるAdaSpeechを提案する。 実験結果から,AdaSpeechはベースライン法よりも適応性が高く,話者毎のパラメータは5K程度であった。
• 参考スコア（独自算出の注目度）: 104.69219752194863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Custom voice, a specific text to speech (TTS) service in commercial speech platforms, aims to adapt a source TTS model to synthesize personal voice for a target speaker using few speech data. Custom voice presents two unique challenges for TTS adaptation: 1) to support diverse customers, the adaptation model needs to handle diverse acoustic conditions that could be very different from source speech data, and 2) to support a large number of customers, the adaptation parameters need to be small enough for each target speaker to reduce memory usage while maintaining high voice quality. In this work, we propose AdaSpeech, an adaptive TTS system for high-quality and efficient customization of new voices. We design several techniques in AdaSpeech to address the two challenges in custom voice: 1) To handle different acoustic conditions, we use two acoustic encoders to extract an utterance-level vector and a sequence of phoneme-level vectors from the target speech during training; in inference, we extract the utterance-level vector from a reference speech and use an acoustic predictor to predict the phoneme-level vectors. 2) To better trade off the adaptation parameters and voice quality, we introduce conditional layer normalization in the mel-spectrogram decoder of AdaSpeech, and fine-tune this part in addition to speaker embedding for adaptation. We pre-train the source TTS model on LibriTTS datasets and fine-tune it on VCTK and LJSpeech datasets (with different acoustic conditions from LibriTTS) with few adaptation data, e.g., 20 sentences, about 1 minute speech. Experiment results show that AdaSpeech achieves much better adaptation quality than baseline methods, with only about 5K specific parameters for each speaker, which demonstrates its effectiveness for custom voice. Audio samples are available at https://speechresearch.github.io/adaspeech/.
• Abstract（参考訳）: 商用音声プラットフォームにおける特定のテキスト対音声(TTS)サービスであるカスタム音声は、音声データが少ないターゲットスピーカーのパーソナル音声を合成するソースTTSモデルを適応させることを目指しています。 1) 多様な顧客をサポートするためには、適応モデルがソース音声データと大きく異なる様々な音響条件を扱う必要があり、2) 多数の顧客をサポートするには、適応パラメータは、高い音声品質を維持しながら、各ターゲット話者がメモリ使用量を減らすのに十分な大きさでなければならない。 本稿では,新しい音声の高品質かつ効率的なカスタマイズのための適応型ttsシステムであるadaspeechを提案する。 1) 音響条件の異なる2つの音響エンコーダを使用して、トレーニング中のターゲット音声から発話レベルベクトルと音素レベルベクトルのシーケンスを抽出します。推論では、発話レベルベクトルを基準音声から抽出し、音響予測器を使用して音素レベルベクトルを予測します。 2)適応パラメータと音声品質のトレードオフを良好にするため,adaspeechのmel-spectrogramデコーダに条件層正規化を導入し,適応のための話者埋め込みに加えてこの部分を微調整する。 我々は、LibriTTSデータセットのソースTSモデルを事前訓練し、VCTKおよびLJSpeechデータセット(LibriTTSとは異なる音響条件)に、20文、約1分間の音声など、ほとんど適応データを持たないように微調整する。 実験の結果、AdaSpeechはベースライン方式よりもはるかに優れた適応品質を達成し、各話者ごとに5Kの特定のパラメータしか示さず、カスタム音声の有効性を示しています。 オーディオサンプルはhttps://speechresearch.github.io/adaspeech/で入手できる。

関連論文リスト

• Multi-modal Adversarial Training for Zero-Shot Voice Cloning [9.823246184635103]
  実音声特徴と生成音声特徴を条件付きで識別するトランスフォーマーエンコーダデコーダアーキテクチャを提案する。 我々は、FastSpeech2音響モデルに適用し、大規模マルチスピーカーデータセットであるLibriheavyのトレーニングを行うことにより、新しい対角訓練手法を導入する。 本モデルは,音声品質と話者類似度の観点から,ベースラインに対する改善を実現する。
  論文  参考訳（メタデータ） (2024-08-28T16:30:41Z)
• Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model [11.62674351793]
  複数の拡張を伴ってコンテキスト特徴を適応する新しい音声ベースのTSモデルを提案する。 Qformerの成功に触発されて,マルチモーダルなコンテキスト強化Qformerを提案する。 提案手法は,様々な状況のTSシナリオにおいて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2024-06-06T03:06:45Z)
• NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers [90.83782600932567]
  残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。 本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。 NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
  論文  参考訳（メタデータ） (2023-04-18T16:31:59Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech [62.95422526044178]
  マルチスピーカTSモデルのトレーニングアルゴリズムとして,MAML(Model Agnostic Meta-Learning)を用いる。 その結果,Meta-TTSは話者適応ベースラインよりも適応ステップが少ない少数のサンプルから高い話者類似性音声を合成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-07T09:53:31Z)
• Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation [63.561944239071615]
  StyleSpeechは、高品質な音声を合成し、新しい話者に適応する新しいTSモデルである。 SALNでは、単一音声音声からでもターゲット話者のスタイルで音声を効果的に合成する。 提案手法をMeta-StyleSpeechに拡張するには,スタイルプロトタイプで訓練された2つの識別器を導入し,エピソード訓練を行う。
  論文  参考訳（メタデータ） (2021-06-06T15:34:11Z)
• AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data [115.38309338462588]
  AdaSpeech 2 は、未転写音声データのみを適応に利用する適応型 TTS システムである。 具体的には,よく訓練されたttsモデルにmel-spectrogramエンコーダを導入し,音声再構成を行う。 適応では,ttsデコーダのみを微調整し,未書き起こし音声データを用いて音声再構成を行う。
  論文  参考訳（メタデータ） (2021-04-20T01:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。