Fugu-MT 論文翻訳(概要): Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

論文の概要: Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

arxiv url: http://arxiv.org/abs/2608.11650v1
Date: Wed, 12 Aug 2026 04:48:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-13 19:07:54.452818
Title: Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder
Title（参考訳）: Confucius4-TTS:学習可能な話者エンコーダ付きトランスクリプトフリークロスプラットフォームゼロショットTS
Abstract要約: 14言語をサポートするゼロショット音声合成システムConfucius4-TTSを提案する。音声プロンプトの書き起こしを必要とせず、言語内および言語間参照クローンを実行する。公開ベンチマークにおいて高い知性と話者類似性を実現する。
参考スコア（独自算出の注目度）: 14.769480661437774
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advances in zero-shot text-to-speech (TTS) have substantially improved speech quality and voice cloning fidelity. However, many zero-shot TTS systems still depend on audio prompt transcripts at inference time. This dependency limits cross-lingual voice cloning, since in-the-wild reference audio is often untranscribed. In this technical report, we present Confucius4-TTS, a multilingual zero-shot TTS system that supports 14 languages and performs both intra-lingual and cross-lingual reference cloning without requiring transcripts of audio prompts. Confucius4-TTS follows a two-stage architecture, consisting of text-to-semantic (T2S) and semantic-to-acoustic (S2A) modules. The LLM-based T2S module uses a learnable speaker encoder to extract timbre features from self-supervised speech representations, and the conditional flow-matching S2A module converts the predicted semantic tokens into mel-spectrograms. The same model also supports continuation cloning when a reference transcript is available. Confucius4-TTS is trained on large-scale multilingual speech data. It achieves high intelligibility and speaker similarity on public benchmarks. On the CV3-Eval cross-lingual benchmark, Confucius4-TTS obtains an average WER of 3.73% across six directions. On our internal cross-lingual set, it achieves the best average overall rank in human evaluation among recent open-source and commercial systems. We release code, model checkpoints, and demos at https://github.com/netease-youdao/Confucius4-TTS.
Abstract（参考訳）: ゼロショット音声合成(TTS)の最近の進歩は、音声品質と音声クローニングの精度を大幅に向上させた。しかし、多くのゼロショットTSシステムは、推論時にオーディオプロンプトの書き起こしに依存している。この依存関係は言語間音声のクローニングを制限する。本稿では,14言語をサポートする多言語ゼロショットTSシステムConfucius4-TTSについて述べる。 Confucius4-TTSは、テキスト・ツー・セマンティック(T2S)とセマンティック・トゥ・アコースティック(S2A)モジュールからなる2段階アーキテクチャに従う。 LLMベースのT2Sモジュールは、学習可能な話者エンコーダを用いて、自己教師付き音声表現から音色特徴を抽出し、条件付きフローマッチングS2Aモジュールは、予測されたセマンティックトークンをメルスペクトルに変換する。同じモデルは、参照書き起こしが利用可能になったときの継続クローニングもサポートする。 Confucius4-TTSは、大規模多言語音声データに基づいて訓練されている。公開ベンチマークにおいて高い知性と話者類似性を実現する。 CV3-Evalクロスランガルベンチマークでは、Confucius4-TTSは6方向平均3.73%のWERを得る。近年のオープンソースおよび商用システムにおいて,内部言語間比較では人的評価において,人的評価において最も高い総合的なランクを達成している。コード、モデルチェックポイント、デモはhttps://github.com/netease-youdao/Confucius4-TTSで公開しています。

関連論文リスト

X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning [62.740127542449166]
X-Voiceは、任意の音声をクローンし、誰でも30の言語を話せる多言語ゼロショット音声クローンモデルである。 X-Voiceは国際音声アルファベット(IPA)を統一表現として420K時間多言語コーパスで訓練されている。
論文参考訳（メタデータ） (2026-05-07T02:57:53Z)
Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens [31.575335190916995]
本稿では,音声を2つの補完トークンタイプに分解する単一ストリーム音声であるBiCodecを利用した新しいシステムであるSpark-TTSを紹介する。制御可能なTSの研究を容易にするために,包括的な属性アノテーションを備えた10000時間データセットであるVoxBoxを紹介した。
論文参考訳（メタデータ） (2025-03-03T16:23:10Z)
IndexTTS: An Industrial-Level Controllable and Efficient Zero-Shot Text-To-Speech System [6.686126079510178]
本稿では,主にXTTSとTortoiseモデルに基づくIndexTTSシステムを紹介する。具体的には、中国語のシナリオでは、文字とピンインを組み合わせたハイブリッドなモデリング手法を採用する。 XTTSと比較すると、自然性、コンテンツ一貫性、ゼロショット音声クローンの大幅な改善が達成されている。
論文参考訳（メタデータ） (2025-02-08T10:23:20Z)
Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
論文参考訳（メタデータ） (2023-06-06T08:54:49Z)
UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion [63.346825713704625]
テキスト音声変換(TTS, Text-to-Speech)と音声変換(VC)は2つの異なるタスクであり, 音質の異なる音質で音声を合成することを目的としている。本稿では,TSとVCを統合フレームワークに初めて導入するUnifySpeechを提案する。
論文参考訳（メタデータ） (2023-01-10T06:06:57Z)
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-11-07T13:35:16Z)
Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
論文参考訳（メタデータ） (2021-12-15T18:56:35Z)
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data [115.38309338462588]
AdaSpeech 2 は、未転写音声データのみを適応に利用する適応型 TTS システムである。具体的には,よく訓練されたttsモデルにmel-spectrogramエンコーダを導入し,音声再構成を行う。適応では,ttsデコーダのみを微調整し,未書き起こし音声データを用いて音声再構成を行う。
論文参考訳（メタデータ） (2021-04-20T01:53:30Z)
Towards Natural and Controllable Cross-Lingual Voice Conversion Based on Neural TTS Model and Phonetic Posteriorgram [21.652906261475533]
言語間の音声変換は、音素集合のかなりのミスマッチと異なる言語の音声韻律のために難しい問題である。我々は、新しい言語間VCフレームワークであるFastSpeech-VCを設計するために、ニューラルテキスト音声(TTS)モデルを構築した。
論文参考訳（メタデータ） (2021-02-03T10:28:07Z)
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion [28.830575877307176]
両方の言語でネイティブレベルの流布を実現する話者からバイリンガルコーパスを得るのは容易ではない。タコトロン2に基づく音声変換システムを用いて、マンダリン話者の英語音声と英語話者のマンダリン音声を生成する。得られたバイリンガルデータは、Transformerモデルを用いて合成されたコード切替発話で拡張される。
論文参考訳（メタデータ） (2020-10-16T03:51:00Z)
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion [0.0]
言語間音声変換は、ソース話者とターゲット話者が異なる言語で話す間、同じ内容のターゲット音声を合成することを目的としたタスクである。本稿では,モノリン言語ASRから言語間VCへの知識伝達に着目した。外国語音声の書き起こしや言語固有の知識を必要とせず,言語間VCの対応に成功している。
論文参考訳（メタデータ） (2020-09-30T13:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。