論文の概要: WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS

• arxiv url: http://arxiv.org/abs/2607.06461v1
• Date: Tue, 07 Jul 2026 16:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.585632
• Title: WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS
• Title（参考訳）: WordVoice: LLMベースのTSのための多次元単語レベル制御の明示と分離
• Authors: Sihang Nie, Jinxin Ji, Xiaofen Xing, Deyi Tuo, Chengbin Jin, Jialong Mai, Xiangmin Xu,
• Abstract要約: 暗黙的な生成プロセスを明示的で制御可能なパラダイムに変換するためにWordVoiceを導入します。 微細な音響変調モジュールでトークン・ツー・ウェーブフォームのステージを拡大する。 実験により、WordVoiceは複数の音響次元に対して優れた疎結合制御を実現することが示された。
• 参考スコア（独自算出の注目度）: 29.001576519482498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While recent Large Language Model (LLM)-based Text-to-Speech (TTS) systems have achieved remarkable naturalness, they predominantly rely on implicit end-to-end generation paradigms, resulting in coarse-grained control. In scenarios demanding precise stylistic interventions and strict temporal alignment, such as audiobook narration and video dubbing, the inability to explicitly manipulate word-level acoustic attributes remains a critical bottleneck. This limitation is primarily amplified by the severe scarcity of fine-grained annotated datasets and the architectural challenge of integrating multi-dimensional control signals into discrete autoregressive generation. To address this, we propose a unified framework for highly precise word-level control. First, we construct WordVoice-5A, a massive 4.7k-hour bilingual dataset featuring five-dimensional word-level annotations (duration, boundary, energy, pitch and tone) developed through a rigorous linguistically-guided pipeline. Second, we introduce WordVoice to transform the implicit generation process into an explicit, highly controllable paradigm. Specifically, we introduce a bound-token mechanism within the LLM to formulate an explicit ``acoustic planning'' process, enabling adaptive multi-task prosodic planning and flexible manual intervention. Furthermore, we augment the token-to-waveform stage with a fine-grained acoustic modulation module, bridging the resolution gap to strictly align word-level attributes between highly compressed discrete tokens and continuous waveforms. Extensive experiments demonstrate that WordVoice achieves superior, decoupled control over multiple acoustic dimensions while maintaining competitive zero-shot synthesis stability. The code and audio samples are publicly available at https://xxh333.github.io/wordvoice-demo/.
• Abstract（参考訳）: 最近のLarge Language Model (LLM) ベースの Text-to-Speech (TTS) システムは、顕著な自然性を実現しているが、それらは主に暗黙のエンドツーエンド生成パラダイムに依存しており、粗い粒度の制御をもたらす。 音声ブックのナレーションやビデオダビングのような正確なスタイル的介入と厳密な時間的アライメントを必要とするシナリオでは、単語レベルの音響特性を明示的に操作できないことが重要なボトルネックである。 この制限は主に、細粒度アノテートされたデータセットの深刻な不足と、多次元制御信号を離散自己回帰生成に統合するというアーキテクチャ上の課題によって増幅される。 そこで本研究では,高精度な単語レベル制御のための統合フレームワークを提案する。 まず,厳密な言語誘導パイプラインを用いて,5次元の単語レベルのアノテーション(拡散,境界,エネルギー,ピッチ,トーン)を付加した大規模4.7k時間バイリンガルデータセットであるWordVoice-5Aを構築した。 第二に、暗黙的な生成プロセスを明示的で制御可能なパラダイムに変換するためにWordVoiceを導入します。 具体的には, 適応型マルチタスク韻律計画と柔軟な手動介入を可能にする, 明示的な '音響計画' プロセスを定式化するために, LLM 内に有界化機構を導入する。 さらに,高圧縮離散トークンと連続波形の単語レベル特性を厳密に整合させるために,微細な音響変調モジュールでトークン・トゥ・ウェーブフォームのステージを拡大し,分解能ギャップを埋める。 実験により、WordVoiceは、競争力のあるゼロショット合成安定性を維持しながら、複数の音響次元に対する優れた非結合制御を実現することを示した。 コードとオーディオサンプルはhttps://xxh333.github.io/wordvoice-demo/で公開されている。

関連論文リスト

• UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions [55.622295453533475]
  音声,音楽,音響効果を合成できる統合フローマッチングフレームワークUniSonateを紹介する。 本研究では,非構造環境音を時間潜在空間に投影する動的トークン注入機構を提案する。 実験により、UniSonateは、命令ベースのTSとTTMで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-04-24T04:26:04Z)
• Borderless Long Speech Synthesis [30.36601404142387]
  エージェント中心, 境界なし長音声合成のためのボーダーレス長音声合成フレームワークを提案する。 単一の狭いタスクをターゲットにするのではなく、VoiceDesigner、マルチスピーカー合成、インストラクションTS、長文テキスト合成にまたがる統一的な機能セットとして設計されている。
  論文  参考訳（メタデータ） (2026-03-20T09:37:54Z)
• ControlAudio: Tackling Text-Guided, Timing-Indicated and Intelligible Audio Generation via Progressive Diffusion Modeling [26.333732366091912]
  我々は,制御可能なTTA生成をマルチタスク学習問題として再キャストし,プログレッシブ拡散モデリング手法であるControlAudioを導入する。 本手法は, ステップバイステップ戦略により, テキスト, タイミング, 音素の特徴を含む, よりきめ細かな情報に適合する。 実験により,コントロールアウディオは時間的精度と発話明瞭度の観点から最先端のパフォーマンスを達成し,客観評価と主観評価の両方において既存の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-10-10T00:19:41Z)
• IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech [13.3878636941081]
  IndexTTS2は、音声持続時間制御のための新しい、一般的な、そして自己回帰的なモデルフレンドリーな方法である。 感情表現と話者同一性の間の絡み合いを達成し、音色と感情の独立制御を可能にする。 単語誤り率、話者類似度、感情的忠実度の観点から、最先端のゼロショットTSモデルより優れている。
  論文  参考訳（メタデータ） (2025-06-23T08:33:40Z)
• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis [56.25862714128288]
  本稿では,イノベーティブなスパースアライメントアルゴリズムを備えたゼロショット音声合成(TTS)システムであるtextitMegaTTS 3を提案する。 具体的には,検索空間を制限せずにアライメントの困難さを軽減するために,MegaTTS 3にスパースアライメント境界を提供する。 実験により、MegaTTS 3は最先端のゼロショットTTS音声品質を実現し、アクセント強度を柔軟に制御できることが示されている。
  論文  参考訳（メタデータ） (2025-02-26T08:22:00Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer [39.31849739010572]
  textbfGenerative textbfPre-trained textbfSpeech textbfTransformer (GPST)を紹介する。 GPSTは効率的な音声言語モデリングのために設計された階層変換器である。
  論文  参考訳（メタデータ） (2024-06-03T04:16:30Z)
• Controllable speech synthesis by learning discrete phoneme-level prosodic representations [53.926969174260705]
  直感的な離散ラベルを用いたF0と持続時間に対する音素レベル韻律制御のための新しい手法を提案する。 複数話者音声データセットから音素レベルF0と持続時間の特徴を識別するために用いられる教師なし韻律クラスタリングプロセスを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:43:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。