論文の概要: Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech

• arxiv url: http://arxiv.org/abs/2111.04040v1
• Date: Sun, 7 Nov 2021 09:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 16:41:00.773815
• Title: Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
• Title（参考訳）: Meta-TTS:Few-Shot Speaker Adaptive Text-to-Speechのためのメタラーニング
• Authors: Sung-Feng Huang, Chyi-Jiunn Lin, Hung-yi Lee
• Abstract要約: マルチスピーカTSモデルのトレーニングアルゴリズムとして,MAML(Model Agnostic Meta-Learning)を用いる。 その結果,Meta-TTSは話者適応ベースラインよりも適応ステップが少ない少数のサンプルから高い話者類似性音声を合成できることが示唆された。
• 参考スコア（独自算出の注目度）: 62.95422526044178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalizing a speech synthesis system is a highly desired application, where the system can generate speech with the user's voice with rare enrolled recordings. There are two main approaches to build such a system in recent works: speaker adaptation and speaker encoding. On the one hand, speaker adaptation methods fine-tune a trained multi-speaker text-to-speech (TTS) model with few enrolled samples. However, they require at least thousands of fine-tuning steps for high-quality adaptation, making it hard to apply on devices. On the other hand, speaker encoding methods encode enrollment utterances into a speaker embedding. The trained TTS model can synthesize the user's speech conditioned on the corresponding speaker embedding. Nevertheless, the speaker encoder suffers from the generalization gap between the seen and unseen speakers. In this paper, we propose applying a meta-learning algorithm to the speaker adaptation method. More specifically, we use Model Agnostic Meta-Learning (MAML) as the training algorithm of a multi-speaker TTS model, which aims to find a great meta-initialization to adapt the model to any few-shot speaker adaptation tasks quickly. Therefore, we can also adapt the meta-trained TTS model to unseen speakers efficiently. Our experiments compare the proposed method (Meta-TTS) with two baselines: a speaker adaptation method baseline and a speaker encoding method baseline. The evaluation results show that Meta-TTS can synthesize high speaker-similarity speech from few enrollment samples with fewer adaptation steps than the speaker adaptation baseline and outperforms the speaker encoding baseline under the same training scheme. When the speaker encoder of the baseline is pre-trained with extra 8371 speakers of data, Meta-TTS can still outperform the baseline on LibriTTS dataset and achieve comparable results on VCTK dataset.
• Abstract（参考訳）: 音声合成システムをパーソナライズすることは非常に望ましい応用であり、システムは希少な登録記録を持つユーザの声で音声を生成することができる。 最近の作品では、このようなシステムを構築するための主要なアプローチが2つある: 話者適応と話者符号化である。 一方,話者適応法では,サンプル数が少ない多話者音声合成モデル(ttsモデル)を微調整する。 しかし、高品質な適応には少なくとも数千の微調整ステップが必要であるため、デバイスに適用するのは困難だ。 一方、話者符号化法では、話者埋め込みに話者発話をエンコードする。 トレーニングされたTSモデルは、対応する話者埋め込みに条件付きユーザの音声を合成することができる。 それにもかかわらず、スピーカエンコーダは、見えない話者と見えない話者の間の一般化ギャップに苦しむ。 本稿では,話者適応手法にメタ学習アルゴリズムを適用することを提案する。 具体的には、マルチスピーカTSモデルのトレーニングアルゴリズムとして、モデルに依存しないメタラーニング(MAML)を使用します。 したがって、メタトレーニングされたTSモデルを非表示話者に効率的に適応させることもできる。 提案手法(Meta-TTS)を,話者適応法ベースラインと話者符号化法ベースラインの2つのベースラインと比較した。 評価の結果,Meta-TTSは話者適応ベースラインよりも適応段階の少ない少数のサンプルから高い話者類似性音声を合成でき,同じ訓練方式で話者符号化ベースラインより優れていた。 ベースラインの話者エンコーダが8371以上のデータで事前トレーニングされると、Meta-TTSは依然としてLibriTTSデータセットのベースラインを上回り、VCTKデータセットで同等の結果を得ることができる。

関連論文リスト

• SelectTTS: Synthesizing Anyone's Voice via Discrete Unit-Based Frame Selection [7.6732312922460055]
  本稿では,対象話者から適切なフレームを選択するための新しい手法であるSelectTTSを提案し,フレームレベルの自己教師型学習(SSL)機能を用いてデコードする。 提案手法は,未知話者の話者特性を効果的に把握し,主観的および主観的の両方において,他のマルチ話者テキスト音声フレームワークに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-08-30T17:34:46Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios [143.47967241972995]
  高品質音声合成のためのゼロショット適応型TSシステムであるAdaSpeech 4を開発した。 話者特性を体系的にモデル化し、新しい話者の一般化を改善する。 微調整なしでは、AdaSpeech 4は複数のデータセットのベースラインよりも声質と類似性が向上する。
  論文  参考訳（メタデータ） (2022-04-01T13:47:44Z)
• GC-TTS: Few-shot Speaker Adaptation with Geometric Constraints [36.07346889498981]
  話者類似性を大幅に向上した高品質な話者適応を実現するGC-TTSを提案する。 TTSモデルは、十分な量のデータを持つベーススピーカーに対して事前訓練され、それから2つの幾何学的制約を持つ数分のデータに基づいて、新しいスピーカーのために微調整される。 実験結果から,GC-TTSは学習データの数分で高品質な音声を生成できることがわかった。
  論文  参考訳（メタデータ） (2021-08-16T04:25:31Z)
• GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis [6.632254395574993]
  GANSpeechは、非自己回帰型マルチスピーカTSモデルに対向訓練法を採用する高忠実度マルチスピーカTSモデルである。 主観的な聴取試験では、GANSpeechはベースラインのマルチスピーカーであるFastSpeechとFastSpeech2モデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-06-29T08:15:30Z)
• Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation [63.561944239071615]
  StyleSpeechは、高品質な音声を合成し、新しい話者に適応する新しいTSモデルである。 SALNでは、単一音声音声からでもターゲット話者のスタイルで音声を効果的に合成する。 提案手法をMeta-StyleSpeechに拡張するには,スタイルプロトタイプで訓練された2つの識別器を導入し,エピソード訓練を行う。
  論文  参考訳（メタデータ） (2021-06-06T15:34:11Z)
• AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data [115.38309338462588]
  AdaSpeech 2 は、未転写音声データのみを適応に利用する適応型 TTS システムである。 具体的には,よく訓練されたttsモデルにmel-spectrogramエンコーダを導入し,音声再構成を行う。 適応では,ttsデコーダのみを微調整し,未書き起こし音声データを用いて音声再構成を行う。
  論文  参考訳（メタデータ） (2021-04-20T01:53:30Z)
• Using IPA-Based Tacotron for Data Efficient Cross-Lingual Speaker Adaptation and Pronunciation Enhancement [1.7704011486040843]
  我々は、20分間のデータのみを用いて、同一または異なる言語から、新しい話者のための既存のTSモデルを転送可能であることを示す。 まず、言語に依存しない入力を持つ基本多言語タコトロンを導入し、話者適応の異なるシナリオに対してトランスファー学習がどのように行われるかを実証する。
  論文  参考訳（メタデータ） (2020-11-12T14:05:34Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。