論文の概要: Prosody Cloning in Zero-Shot Multispeaker Text-to-Speech

• arxiv url: http://arxiv.org/abs/2206.12229v1
• Date: Fri, 24 Jun 2022 11:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 14:27:03.781463
• Title: Prosody Cloning in Zero-Shot Multispeaker Text-to-Speech
• Title（参考訳）: ゼロショット多話者テキスト音声における韻律のクローニング
• Authors: Florian Lux and Julia Koch and Ngoc Thang Vu
• Abstract要約: 品質の劣化を伴わずに、話者の声と、音声参照の韻律を独立にクローンすることが可能であることを示す。 コードとトレーニングされたモデルはすべて、静的およびインタラクティブなデモとともに利用可能です。
• 参考スコア（独自算出の注目度）: 25.707717591185386
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The cloning of a speaker's voice using an untranscribed reference sample is one of the great advances of modern neural text-to-speech (TTS) methods. Approaches for mimicking the prosody of a transcribed reference audio have also been proposed recently. In this work, we bring these two tasks together for the first time through utterance level normalization in conjunction with an utterance level speaker embedding. We further introduce a lightweight aligner for extracting fine-grained prosodic features, that can be finetuned on individual samples within seconds. We show that it is possible to clone the voice of a speaker as well as the prosody of a spoken reference independently without any degradation in quality and high similarity to both original voice and prosody, as our objective evaluation and human study show. All of our code and trained models are available, alongside static and interactive demos.
• Abstract（参考訳）: 非転写参照サンプルを用いた話者の声のクローニングは、現代のニューラルテキスト音声(TTS)手法の大きな進歩の1つである。 書き起こされた参照音声の韻律を模倣する手法も最近提案されている。 本研究では,発話レベルの正規化と発話レベルの話者埋め込みにより,これら2つのタスクを初めて結合する。 さらに,個々のサンプルを数秒で微調整できる,微細な韻律特徴を抽出するための軽量な整列器を導入する。 客観的評価と人間研究が示すように、話者の声質の低下や元の声と韻律との類似度が高まることなく、話者の声のクローン化や音声参照の韻律の韻律を独立して行うことが可能であることを示す。 コードとトレーニングされたモデルはすべて、静的およびインタラクティブなデモとともに利用可能です。

関連論文リスト

• Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model [13.572330725278066]
  提案手法の新たなポイントは、大量のデータで訓練された音声表現から組込みベクトルを得るためにSSLモデルを直接利用することである。 この不整合埋め込みにより、未知話者の再生性能が向上し、異なる音声によるリズム伝達が実現される。
  論文  参考訳（メタデータ） (2023-04-24T10:15:58Z)
• Controllable speech synthesis by learning discrete phoneme-level prosodic representations [53.926969174260705]
  直感的な離散ラベルを用いたF0と持続時間に対する音素レベル韻律制御のための新しい手法を提案する。 複数話者音声データセットから音素レベルF0と持続時間の特徴を識別するために用いられる教師なし韻律クラスタリングプロセスを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:43:36Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)
• Speech Resynthesis from Discrete Disentangled Self-Supervised Representations [49.48053138928408]
  音声合成作業に自己教師付き離散表現を用いることを提案する。 音声コンテンツ、韻律情報、話者識別のための低ビット表現を抽出する。 得られた表現を使用することで、ベースラインメソッドよりも優れた音声品質を提供しながら、毎秒365ビットのレートが得られる。
  論文  参考訳（メタデータ） (2021-04-01T09:20:33Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• Expressive Neural Voice Cloning [12.010555227327743]
  合成音声の様々なスタイルの様々な側面をきめ細かな制御が可能な制御可能な音声クローニング法を提案する。 提案手法は,新たな話者のための音声サンプルの書き起こしと書き起こしのみを用いて,様々な音声のクローニング作業に利用できることを示す。
  論文  参考訳（メタデータ） (2021-01-30T05:09:57Z)
• NAUTILUS: a Versatile Voice Cloning System [44.700803634034486]
  NAUTILUSは、任意のソーススピーカのテキスト入力または参照発話から、ターゲット音声で音声を生成することができる。 バックプロパゲーションアルゴリズムに基づいて、ターゲット話者の未転写音声を用いて、未知の声をクローンすることができる。 最新技術であるTSやVCシステムと同等のクオリティを達成し、翻訳されていない音声を5分でクローンする。
  論文  参考訳（メタデータ） (2020-05-22T05:00:20Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)
• From Speaker Verification to Multispeaker Speech Synthesis, Deep Transfer with Feedback Constraint [11.982748481062542]
  本稿では,マルチスピーカ音声合成のためのフィードバック制約を含むシステムを提案する。 我々は,話者検証ネットワークに係わることにより,話者検証から音声合成への知識伝達の促進に成功している。 モデルはトレーニングされ、公開されているデータセットで評価される。
  論文  参考訳（メタデータ） (2020-05-10T06:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。