論文の概要: Towards Multi-Scale Style Control for Expressive Speech Synthesis

• arxiv url: http://arxiv.org/abs/2104.03521v1
• Date: Thu, 8 Apr 2021 05:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 12:56:30.248751
• Title: Towards Multi-Scale Style Control for Expressive Speech Synthesis
• Title（参考訳）: 表現型音声合成のためのマルチスケールスタイル制御
• Authors: Xiang Li, Changhe Song, Jingbei Li, Zhiyong Wu, Jia Jia, Helen Meng
• Abstract要約: 提案手法では,マルチスケール参照エンコーダを用いて,対象音声のグローバルな発話レベルと局所的な準音素レベルの特徴を抽出する。 訓練期間中、マルチスケールスタイルモデルは、エンドツーエンドで音声合成モデルと共同で訓練することができる。
• 参考スコア（独自算出の注目度）: 60.08928435252417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a multi-scale speech style modeling method for end-to-end expressive speech synthesis. The proposed method employs a multi-scale reference encoder to extract both the global-scale utterance-level and the local-scale quasi-phoneme-level style features of the target speech, which are then fed into the speech synthesis model as an extension to the input phoneme sequence. During training time, the multi-scale style model could be jointly trained with the speech synthesis model in an end-to-end fashion. By applying the proposed method to style transfer task, experimental results indicate that the controllability of the multi-scale speech style model and the expressiveness of the synthesized speech are greatly improved. Moreover, by assigning different reference speeches to extraction of style on each scale, the flexibility of the proposed method is further revealed.
• Abstract（参考訳）: 本稿では,エンドツーエンドの音声合成のためのマルチスケール音声スタイルモデリング手法を提案する。 提案手法では,マルチスケールの参照エンコーダを用いて,対象音声の大域的発話レベルと局所的な準音素レベルの両方の特徴を抽出し,入力音素列の拡張として音声合成モデルに入力する。 訓練期間中、マルチスケールスタイルモデルは、エンドツーエンドで音声合成モデルと共同で訓練することができる。 提案手法をスタイル伝達タスクに適用することにより,マルチスケール音声スタイルモデルの制御性や合成音声の表現性を大幅に向上することを示す実験結果が得られた。 さらに,各尺度のスタイル抽出に異なる参照音声を割り当てることで,提案手法の柔軟性をさらに明らかにした。

関連論文リスト

• Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models [55.898594710420326]
  本稿では,言語モデルに基づく新たな自然音声合成システムを提案する。 自発音声における微妙な韻律変化を捉えるモデルの能力を高めるために, きめ細かい韻律モデリングを導入する。
  論文  参考訳（メタデータ） (2024-07-18T13:42:38Z)
• StyleSpeech: Self-supervised Style Enhancing with VQ-VAE-based Pre-training for Expressive Audiobook Speech Synthesis [63.019962126807116]
  音声ブックの合成音声の表現的品質は、一般化されたモデルアーキテクチャとアンバランスなスタイル分布によって制限される。 本稿では,VQ-VAEに基づく音声合成のための事前学習による自己教師付きスタイル向上手法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T14:13:26Z)
• Generative Adversarial Training for Text-to-Speech Synthesis Based on Raw Phonetic Input and Explicit Prosody Modelling [0.36868085124383626]
  生成的対角学習を用いたエンドツーエンド音声合成システムについて述べる。 音素・音素変換のためのVocoderを明示的な音韻・ピッチ・持続時間モデルを用いて訓練する。
  論文  参考訳（メタデータ） (2023-10-14T18:15:51Z)
• A Discourse-level Multi-scale Prosodic Model for Fine-grained Emotion Analysis [19.271542595753267]
  本稿では、談話レベルのテキストから詳細な感情分析を行うための適切な韻律的特徴の予測について検討する。 本稿では,これらの2つの韻律的特徴を予測するために,多スケールテキストを利用したD-MPM(D-MPM)を提案する。
  論文  参考訳（メタデータ） (2023-09-21T07:45:44Z)
• Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model [13.572330725278066]
  提案手法の新たなポイントは、大量のデータで訓練された音声表現から組込みベクトルを得るためにSSLモデルを直接利用することである。 この不整合埋め込みにより、未知話者の再生性能が向上し、異なる音声によるリズム伝達が実現される。
  論文  参考訳（メタデータ） (2023-04-24T10:15:58Z)
• Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis [37.65745551401636]
  音声合成におけるクロススピーカースタイルの伝達は,音源話者から対象話者の音色を合成した音声へスタイルを伝達することを目的としている。 従来の方法では、合成された微細な韻律の特徴は、しばしばソース話者の平均的なスタイルを表す。 コンテントと音色からスタイルを引き離すために, 強度制御型半教師付きスタイル抽出器を提案する。
  論文  参考訳（メタデータ） (2023-03-14T08:52:58Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• Towards Expressive Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis [37.93814851450597]
  文脈から発話スタイルをモデル化するための階層的枠組みを提案する。 より広い範囲の文脈情報を調べるために,階層型コンテキストエンコーダを提案する。 このエンコーダがスタイル表現をより良く学習できるように、我々は新しいトレーニング戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-23T05:27:57Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation [63.561944239071615]
  StyleSpeechは、高品質な音声を合成し、新しい話者に適応する新しいTSモデルである。 SALNでは、単一音声音声からでもターゲット話者のスタイルで音声を効果的に合成する。 提案手法をMeta-StyleSpeechに拡張するには,スタイルプロトタイプで訓練された2つの識別器を導入し,エピソード訓練を行う。
  論文  参考訳（メタデータ） (2021-06-06T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。