論文の概要: Bailing-TTS: Chinese Dialectal Speech Synthesis Towards Human-like Spontaneous Representation

• arxiv url: http://arxiv.org/abs/2408.00284v1
• Date: Thu, 1 Aug 2024 04:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:45:24.443601
• Title: Bailing-TTS: Chinese Dialectal Speech Synthesis Towards Human-like Spontaneous Representation
• Title（参考訳）: Bailing-TTS:人間のような自発表現に向けた中国語方言音声合成
• Authors: Xinhan Di, Zihao Chen, Yunming Liang, Junjie Zheng, Yihua Wang, Chaofan Ding,
• Abstract要約: Bailing-TTSは、高品質の中国語方言を生成できる大規模なTSモデルのファミリーである。 中国語の方言表現学習は、特定のトランスフォーマーアーキテクチャと多段階学習プロセスを用いて開発されている。 実験により、Bailing-TTSは人のような自然表現に向けて中国語の方言音声を生成することが示された。
• 参考スコア（独自算出の注目度）: 3.9166923630129604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale text-to-speech (TTS) models have made significant progress recently.However, they still fall short in the generation of Chinese dialectal speech. Toaddress this, we propose Bailing-TTS, a family of large-scale TTS models capable of generating high-quality Chinese dialectal speech. Bailing-TTS serves as a foundation model for Chinese dialectal speech generation. First, continual semi-supervised learning is proposed to facilitate the alignment of text tokens and speech tokens. Second, the Chinese dialectal representation learning is developed using a specific transformer architecture and multi-stage training processes. With the proposed design of novel network architecture and corresponding strategy, Bailing-TTS is able to generate Chinese dialectal speech from text effectively and efficiently. Experiments demonstrate that Bailing-TTS generates Chinese dialectal speech towards human-like spontaneous representation. Readers are encouraged to listen to demos at \url{https://c9412600.github.io/bltts_tech_report/index.html}.
• Abstract（参考訳）: 大規模音声合成(TTS)モデルは近年大きな進歩を遂げているが、中国語の方言の世代では依然として不足している。 そこで本稿では,高品質な中国語方言を生成可能な大規模TSモデルであるBailing-TTSを提案する。 Bailing-TTSは中国語方言の音声生成の基礎モデルとして機能する。 まず,テキストトークンと音声トークンのアライメントを容易にするために,連続的半教師付き学習を提案する。 第二に、中国語の方言表現学習は、特定のトランスフォーマーアーキテクチャと多段階学習プロセスを用いて開発されている。 提案した新しいネットワークアーキテクチャとそれに対応する戦略により,Bailing-TTSは中国語の方言音声をテキストから効率よく生成することができる。 実験により、Bailing-TTSは人のような自然表現に向けて中国語の方言音声を生成することが示された。 読者は \url{https://c9412600.github.io/bltts_tech_report/index.html} でデモを聞くことを推奨されている。

関連論文リスト

• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting [16.37243395952266]
  MParrotTTSは、TTS合成モデルである。 最小限の教師付きデータを持つ新しい言語に適応し、自己教師付きバックボーンのトレーニング中に見えない言語に一般化する。 音声の自然度と話者類似度を並列・言語間合成における6言語について検討した。
  論文  参考訳（メタデータ） (2023-05-19T13:43:36Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech [37.942466944970704]
  本稿では,テキスト音声合成(TTS)モデルのための多言語共同学習フレームワークであるVirtuosoを提案する。 様々な音声およびテキストデータからTSモデルをトレーニングするために、教師なし(TTSおよびASRデータ)と教師なし(非教師なし)のデータセットを扱うように、異なるトレーニングスキームが設計されている。 実験により、Virtuosoで訓練された多言語TSモデルは、見かけの言語におけるベースラインモデルよりも、自然性や知性に優れることが示された。
  論文  参考訳（メタデータ） (2022-10-27T14:09:48Z)
• A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation [6.090922774386845]
  翻訳モジュールを用いた中国語方言TTSを提案する。 マンダリンのテキストを正しい正書法と文法で慣用表現に変換するのに役立つ。 TTSに翻訳を取り入れた最初の作品である。
  論文  参考訳（メタデータ） (2022-06-10T07:46:34Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion [28.830575877307176]
  両方の言語でネイティブレベルの流布を実現する話者からバイリンガルコーパスを得るのは容易ではない。 タコトロン2に基づく音声変換システムを用いて、マンダリン話者の英語音声と英語話者のマンダリン音声を生成する。 得られたバイリンガルデータは、Transformerモデルを用いて合成されたコード切替発話で拡張される。
  論文  参考訳（メタデータ） (2020-10-16T03:51:00Z)
• Modeling Prosodic Phrasing with Multi-Task Learning in Tacotron-based TTS [74.11899135025503]
  本稿では,Tacotronに基づく音声合成フレームワークを拡張し,韻律句のブレークを明示的にモデル化する。 提案手法は中国語とモンゴル語の両方の音質を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。