論文の概要: VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS

• arxiv url: http://arxiv.org/abs/2610.14694v1
• Date: Sat, 10 Oct 2026 08:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:16:49.339712
• Title: VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
• Title（参考訳）: VoTSpeech: 指示追従型TSにおける音声生成から音声設計を分離する
• Abstract要約: 音声認識から音声設計を分離するVoTSpeechを提案する。 共有言語モデルのバックボーン上に構築されたVoTSpeechは、まずテキスト命令から連続的な音声を予測する。 話者識別と補音ニュアンスを捉えるために、話者埋め込みと時間プールされたオーディオVAE特徴によって音声潜時を協調的に監視する。
• 参考スコア（独自算出の注目度）: 14.38984737203313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-following text-to-speech (TTS) typically leaves voice design implicit, as conventional speaker embeddings encode reference audio rather than text-driven targets. We propose VoTSpeech, which decouples voice design from speech generation via an explicit intermediate voice latent. Built on a shared language model backbone, VoTSpeech first predicts a continuous voice latent from text instructions using a flow-based module. This latent serves as a shared condition for both the language model and the Acoustic DiT, guiding autoregressive sequence modeling and acoustic latent generation, respectively, before an audio VAE decoder converts the acoustic latents into waveforms. To capture speaker identity and complementary acoustic nuances, the voice latent is jointly supervised by speaker embeddings and temporally pooled audio VAE features. With task-specific adaptation, VoTSpeech performs strongly on InstructTTSEval-ZH, demonstrating competitive capabilities against strong open-source models while maintaining high naturalness. These results confirm that explicit voice latent design and its conditioning interface effectively empower text-driven voice design for controllable speech synthesis. Code, model, and audio samples are available at https://github.com/ywbn/VoTSpeech .
• Abstract（参考訳）: 指示追従型テキスト音声 (TTS) は、従来の話者埋め込みがテキスト駆動のターゲットではなく参照音声を符号化するので、音声設計を暗黙的に残すのが一般的である。 本稿では,音声設計と音声生成の分離を行うVoTSpeechを提案する。 共有言語モデルのバックボーン上に構築されたVoTSpeechは、フローベースのモジュールを使用して、テキスト命令から連続的な音声を予測する。 この潜水器は、音響潜水器を波形に変換する前に、それぞれ自己回帰シーケンスモデリングと音響潜水器生成を導く言語モデルと音響DiTの共用条件として機能する。 話者識別と補音ニュアンスを捉えるために、話者埋め込みと時間プールされたオーディオVAE特徴によって音声潜時を協調的に監視する。 タスク固有の適応により、VoTSpeechはInstructTTSEval-ZHに強く依存し、高い自然性を維持しながら強力なオープンソースモデルに対する競争力を示す。 これらの結果から,明示的な音声潜在設計とその条件付けインタフェースは,音声合成においてテキスト駆動型音声設計を効果的に活用することが確認された。 コード、モデル、オーディオサンプルはhttps://github.com/ywbn/VoTSpeech.comで入手できる。

関連論文リスト

• A Unified Model For Voice and Accent Conversion In Speech and Singing using Self-Supervised Learning and Feature Extraction [0.0]
  本稿では,話し声と歌声の両方を変換できる新しい音声変換モデルを提案する。 このモデルの特長の1つは、ハイブリッド音声サンプルでアクセント変換を行う能力である。
  論文  参考訳（メタデータ） (2024-12-11T11:47:39Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers [90.83782600932567]
  残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。 本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。 NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
  論文  参考訳（メタデータ） (2023-04-18T16:31:59Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Cross-lingual Text-To-Speech with Flow-based Voice Conversion for Improved Pronunciation [11.336431583289382]
  本稿では,エンドツーエンドの言語間テキスト合成手法を提案する。 本来の話者の言語によらず、対象言語の発音を維持することを目的としている。
  論文  参考訳（メタデータ） (2022-10-31T12:44:53Z)
• Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE [36.50265124324876]
  本稿では,テキストと音声のペアを必要としない,教師なしの音声合成モデルであるUTTSを提案する。 このフレームワークは、話者の持続時間モデル、音色特徴(アイデンティティ)、TTS推論のための内容の柔軟な選択を提供する。 実験により、UTTSは人間と客観的評価によって測定された高い自然性と知性のある音声を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-06-06T11:51:22Z)
• Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation [63.561944239071615]
  StyleSpeechは、高品質な音声を合成し、新しい話者に適応する新しいTSモデルである。 SALNでは、単一音声音声からでもターゲット話者のスタイルで音声を効果的に合成する。 提案手法をMeta-StyleSpeechに拡張するには,スタイルプロトタイプで訓練された2つの識別器を導入し,エピソード訓練を行う。
  論文  参考訳（メタデータ） (2021-06-06T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。