論文の概要: StyleSpeech: Self-supervised Style Enhancing with VQ-VAE-based Pre-training for Expressive Audiobook Speech Synthesis

• arxiv url: http://arxiv.org/abs/2312.12181v1
• Date: Tue, 19 Dec 2023 14:13:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 15:28:34.648455
• Title: StyleSpeech: Self-supervised Style Enhancing with VQ-VAE-based Pre-training for Expressive Audiobook Speech Synthesis
• Title（参考訳）: StyleSpeech: 音声合成のためのVQ-VAEに基づく事前学習による自己教師型スタイルエンハンシング
• Authors: Xueyuan Chen, Xi Wang, Shaofei Zhang, Lei He, Zhiyong Wu, Xixin Wu, Helen Meng
• Abstract要約: 音声ブックの合成音声の表現的品質は、一般化されたモデルアーキテクチャとアンバランスなスタイル分布によって制限される。 本稿では,VQ-VAEに基づく音声合成のための事前学習による自己教師付きスタイル向上手法を提案する。
• 参考スコア（独自算出の注目度）: 63.019962126807116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expressive quality of synthesized speech for audiobooks is limited by generalized model architecture and unbalanced style distribution in the training data. To address these issues, in this paper, we propose a self-supervised style enhancing method with VQ-VAE-based pre-training for expressive audiobook speech synthesis. Firstly, a text style encoder is pre-trained with a large amount of unlabeled text-only data. Secondly, a spectrogram style extractor based on VQ-VAE is pre-trained in a self-supervised manner, with plenty of audio data that covers complex style variations. Then a novel architecture with two encoder-decoder paths is specially designed to model the pronunciation and high-level style expressiveness respectively, with the guidance of the style extractor. Both objective and subjective evaluations demonstrate that our proposed method can effectively improve the naturalness and expressiveness of the synthesized speech in audiobook synthesis especially for the role and out-of-domain scenarios.
• Abstract（参考訳）: オーディオブックの合成音声の表現品質は、一般化されたモデルアーキテクチャとトレーニングデータにおけるアンバランスなスタイル分布によって制限される。 本稿では,vq-vaeに基づく音声合成のための事前学習による自己教師付きスタイル拡張手法を提案する。 まず、テキストスタイルエンコーダは、大量のラベルなしテキスト専用データで事前訓練される。 第二に、VQ-VAEに基づくスペクトログラムスタイル抽出器は、複雑なスタイルのバリエーションをカバーする多くのオーディオデータとともに、自己教師方式で事前訓練される。 次に、2つのエンコーダ・デコーダパスを持つ新しいアーキテクチャを、それぞれ、スタイル抽出器のガイダンスを用いて、発音とハイレベルなスタイル表現をモデル化するように特別に設計する。 目的的および主観的評価から,本手法は音声合成における合成音声の自然性と表現性を,特にドメイン外のシナリオにおいて効果的に改善できることを示す。

関連論文リスト

• Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN [17.876323494898536]
  本稿では,4段階以内の音声サンプルを生成するための入力として,スタイル記述とコンテンツテキストに基づく高忠実度音声を生成するための拡散GANに基づくアプローチ(韻律Diff-TTS)を提案する。 提案手法の有効性を多話者LibriTTSおよびPromptSpeechデータセットに示す。
  論文  参考訳（メタデータ） (2023-10-27T14:28:41Z)
• Cross-Utterance Conditioned VAE for Speech Generation [27.5887600344053]
  本稿では,CUC-VAE S2フレームワークを用いて,韻律の強化と自然な音声生成を実現する。 CUC-VAE TTS for text-to-speech と CUC-VAE SE for speech editor の2つの実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-08T06:48:41Z)
• Stylebook: Content-Dependent Speaking Style Modeling for Any-to-Any Voice Conversion using Only Speech Data [2.6217304977339473]
  本稿では,ターゲット発話からリッチなスタイル情報を抽出し,ソース音声コンテンツに効率的に転送する手法を提案する。 提案手法では,自己教師付き学習(SSL)モデルを用いた注意機構を提案する。 実験結果から,提案手法と拡散型生成モデルを組み合わせることで,任意の音声変換タスクにおいて,話者の類似性が向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-06T05:33:54Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• Self-supervised Context-aware Style Representation for Expressive Speech Synthesis [23.460258571431414]
  本稿では,平文からスタイル表現を自己教師型で学習するための新しいフレームワークを提案する。 感情のレキシコンを活用し、対照的な学習と深いクラスタリングを使用する。 本手法は,音声ブック音声におけるドメイン内およびドメイン外テストセットの主観的評価に基づいて,改善された結果を実現する。
  論文  参考訳（メタデータ） (2022-06-25T05:29:48Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。