論文の概要: CrossSpeech++: Cross-lingual Speech Synthesis with Decoupled Language and Speaker Generation

• arxiv url: http://arxiv.org/abs/2412.20048v1
• Date: Sat, 28 Dec 2024 06:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:23.858605
• Title: CrossSpeech++: Cross-lingual Speech Synthesis with Decoupled Language and Speaker Generation
• Title（参考訳）: CrossSpeech++: 分離言語と話者生成を用いた言語間音声合成
• Authors: Ji-Hoon Kim, Hong-Sun Yang, Yoon-Cheol Ju, Il-Hwan Kim, Byeong-Yeol Kim, Joon Son Chung,
• Abstract要約: CrossSpeech++は、言語と話者情報をアンタングルする方法である。 これにより、言語間音声合成の品質が大幅に向上する。 さまざまなメトリクスを使って広範な実験を行い、CrossSpeech++が大幅な改善を実現していることを示す。
• 参考スコア（独自算出の注目度）: 25.82932373649325
• License:
• Abstract: The goal of this work is to generate natural speech in multiple languages while maintaining the same speaker identity, a task known as cross-lingual speech synthesis. A key challenge of cross-lingual speech synthesis is the language-speaker entanglement problem, which causes the quality of cross-lingual systems to lag behind that of intra-lingual systems. In this paper, we propose CrossSpeech++, which effectively disentangles language and speaker information and significantly improves the quality of cross-lingual speech synthesis. To this end, we break the complex speech generation pipeline into two simple components: language-dependent and speaker-dependent generators. The language-dependent generator produces linguistic variations that are not biased by specific speaker attributes. The speaker-dependent generator models acoustic variations that characterize speaker identity. By handling each type of information in separate modules, our method can effectively disentangle language and speaker representation. We conduct extensive experiments using various metrics, and demonstrate that CrossSpeech++ achieves significant improvements in cross-lingual speech synthesis, outperforming existing methods by a large margin.
• Abstract（参考訳）: 本研究の目的は、言語間音声合成として知られる課題である同一話者アイデンティティを維持しながら、複数の言語で自然言語を生成することである。 言語間音声合成の鍵となる課題は、言語話者の絡み合いの問題であり、言語間システムの品質が言語内システムよりも遅れることを引き起こす。 本稿では,言語情報と話者情報を効果的に切り離し,言語間音声合成の品質を大幅に向上させるCrossSpeech++を提案する。 この目的のために、複雑な音声生成パイプラインを言語依存と話者依存の2つの単純なコンポーネントに分割する。 言語依存ジェネレータは、特定の話者属性に偏らない言語的バリエーションを生成する。 話者依存ジェネレータは、話者識別を特徴付ける音響変化をモデル化する。 本手法は,各種類の情報を異なるモジュールで処理することにより,言語と話者表現を効果的に切り離すことができる。 様々なメトリクスを用いて広範な実験を行い、CrossSpeech++が言語間音声合成において大幅な改善を達成し、既存の手法を大きなマージンで上回ることを示す。

関連論文リスト

• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• PolyVoice: Language Models for Speech to Speech Translation [50.31000706309143]
  PolyVoiceは音声音声翻訳のための言語モデルに基づくフレームワーク 我々は、完全に教師なしの方法で生成される離散化音声単位を使用する。 音声合成部では、既存のVALL-E Xアプローチを採用し、単位ベース音声言語モデルを構築する。
  論文  参考訳（メタデータ） (2023-06-05T15:53:15Z)
• Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling [92.55131711064935]
  本稿では,言語間音声合成のための言語間ニューラルネットワークモデル VALL-E X を提案する。 VALL-E Xは、強い文脈内学習能力を継承し、ゼロショット言語間テキスト音声合成やゼロショット音声音声音声翻訳タスクに応用できる。 未知の話者の声、感情、音響環境を保ちながら、ソース言語の1つの発話をプロンプトとして、ターゲット言語で高品質な音声を生成することができる。
  論文  参考訳（メタデータ） (2023-03-07T14:31:55Z)
• CrossSpeech: Speaker-independent Acoustic Representation for Cross-lingual Speech Synthesis [7.6883773606941075]
  CrossSpeechは、話者と言語情報を効果的に切り離すことで、言語間音声の品質を向上させる。 実験により,CrossSpeechが言語間TSの大幅な改善を実現することを確認した。
  論文  参考訳（メタデータ） (2023-02-28T07:51:10Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Improving Cross-lingual Speech Synthesis with Triplet Training Scheme [5.470211567548067]
  言語間の発音を高めるために, トリプルト学習法を提案する。 提案手法は、合成した言語間音声の可知性と自然性の両方に顕著な改善をもたらす。
  論文  参考訳（メタデータ） (2022-02-22T08:40:43Z)
• Cross-lingual Low Resource Speaker Adaptation Using Phonological Features [2.8080708404213373]
  我々は、異なる言語に共通する音韻的特徴のセットに基づいて、言語に依存しないマルチスピーカモデルを訓練する。 対象話者データの32と8の発声で、対応する文献に匹敵する高い話者類似度スコアと自然性を得る。
  論文  参考訳（メタデータ） (2021-11-17T12:33:42Z)
• Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario [10.779568857641928]
  本稿では,多言語話者音声合成を実現するために,Tacotron2の拡張を提案する。 我々は、単言語話者のための英語とマンダリンの間で、コードスイッチングを含む言語間合成を実現する。
  論文  参考訳（メタデータ） (2020-05-21T03:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。