論文の概要: Prosodic Boundary-Aware Streaming Generation for LLM-Based TTS with Streaming Text Input

• arxiv url: http://arxiv.org/abs/2603.06444v1
• Date: Fri, 06 Mar 2026 16:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:46.204844
• Title: Prosodic Boundary-Aware Streaming Generation for LLM-Based TTS with Streaming Text Input
• Title（参考訳）: テキスト入力によるLDMベースTSの韻律境界認識ストリーム生成
• Abstract要約: ストリーミングテキストを受信するストリーミングTSは、インタラクティブシステムにとって不可欠である。 しかし、このスキームは2つの大きな課題に直面している。 本稿では,弱い時間整合データを用いて事前学習したLLMベースのTSモデルを適応した韻律的境界認識後学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 37.127877690220934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming TTS that receives streaming text is essential for interactive systems, yet this scheme faces two major challenges: unnatural prosody due to missing lookahead and long-form collapse due to unbounded context. We propose a prosodic-boundary-aware post-training strategy, adapting a pretrained LLM-based TTS model using weakly time-aligned data. Specifically, the model is adapted to learn early stopping at specified content boundaries when provided with limited future text. During inference, a sliding-window prompt carries forward previous text and speech tokens, ensuring bounded context and seamless concatenation. Evaluations show our method outperforms CosyVoice-Style interleaved baseline in both short and long-form scenarios. In long-text synthesis, especially, it achieves a 66.2% absolute reduction in word error rate (from 71.0% to 4.8%) and increases speaker and emotion similarity by 16.1% and 1.5% relatively, offering a robust solution for streaming TTS with incremental text.
• Abstract（参考訳）: ストリーミングテキストを受信するストリーミングTSはインタラクティブシステムには不可欠だが、このスキームは2つの大きな課題に直面している。 本稿では,弱い時間整合データを用いて事前学習したLLMベースのTSモデルを適応した韻律的境界認識後学習戦略を提案する。 具体的には、将来的な限られたテキストが提供される場合に、指定されたコンテンツ境界の早期停止を学習するように適応する。 推論中、スライドウインドウプロンプトは前のテキストと音声トークンを転送し、コンテキスト境界を確保し、シームレスに結合する。 CosyVoice-Styleインターリーブベースラインのショートおよびロングフォームシナリオにおいて,本手法よりも優れた性能を示す。 特に長文合成では、単語エラー率の66.2%(71.0%から4.8%)を絶対的に削減し、話者と感情の類似度を16.1%、相対的に1.5%増加させ、インクリメンタルテキストでTTSをストリーミングするための堅牢なソリューションを提供する。

関連論文リスト

• Ready to Speak: Aligning LLMs for TTS-Friendly Text Generation [16.8983983115275]
  現在のLarge Language Models (LLMs) は主にテキストに最適化されており、文法的に正しいが、テキスト・トゥ・スペーチ(TTS)による音声配信には適さない出力を生成することが多い。 本研究では, LLM が TTS に優しいテキストを生成する方法について検討する。 我々は、異なるターゲットドメインにまたがる2つの選好データセット、CORAとRecipeを導入する。
  論文  参考訳（メタデータ） (2026-09-01T13:44:43Z)
• X2Streaming-TTS: Causal Token-Level Text-to-Speech from Streaming Text with Speech-State Inheritance [4.713402367550747]
  低遅延音声対話システムではテキスト音声のストリーミングが不可欠であるが、多くのシステムは文レベルのテキストを待ち、従って擬似ストリーミングである。 X2Streaming-TTSは,非同期に受信したテキストトークンを消費し,将来の入力にアクセスすることなく音声を出力する因果的TTSフレームワークである。
  論文  参考訳（メタデータ） (2026-08-19T08:05:45Z)
• VoXtream2: Full-stream TTS with dynamic speaking rate control [17.067283475630095]
  VoXtream2は、動的発話速度制御を備えたゼロショットフルストリーム音声合成モデルである。 プロンプトテキストマスキングは、テキストなしの音声プロンプトを可能にし、プロンプトの書き起こしを不要にする。 フルストリームモードでは、コンシューマGPU上で74msのファーストパッケージレイテンシで、リアルタイムよりも4倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-13T18:49:25Z)
• Adaptive Duration Model for Text Speech Alignment [2.594813802197567]
  音声からテキストへのアライメントは、ニューラルテキストから音声へのアライメント(TTS)モデルの重要な構成要素である。 そこで本研究では,音素レベルの持続時間分布を与えられたテキストで予測できる新しい持続時間予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-30T12:31:11Z)
• StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling [50.537794606598254]
  StreamMelは、継続的メル-スペクトログラムをモデル化する、先駆的なシングルステージストリーミングTSフレームワークである。 高い話者類似性と自然性を保ちながら、低レイテンシで自己回帰的な合成を可能にする。 オフラインシステムに匹敵するパフォーマンスを実現し、効率的なリアルタイム生成もサポートしている。
  論文  参考訳（メタデータ） (2025-06-14T16:53:39Z)
• Zero-Shot Streaming Text to Speech Synthesis with Transducer and Auto-Regressive Modeling [76.23539797803681]
  既存の手法は主に、自然なストリーミング音声合成を実現するために、将来のテキストに依存するルックメカニズムを使用している。 本稿では,高品質な音声フレームをフレーム単位で生成するためのストリーミングフレームワークLEを提案する。 実験結果から,LEは現行のストリーミングTTS法より優れ,文レベルのTSシステムよりも高い性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T08:25:01Z)
• SupertonicTTS: Towards Highly Efficient and Streamlined Text-to-Speech System [10.156665325783583]
  SupertonicTTSは、効率的な音声合成のために設計された新しい音声合成システムである。 我々は、軽量アーキテクチャを実現するために、低次元の潜伏空間、潜伏空間の時間圧縮、およびConvNeXtブロックを用いる。 実験の結果、SupertonicTTSは、44Mパラメータしか持たない現代のゼロショットTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-03-29T14:59:32Z)
• MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis [56.25862714128288]
  本稿では,イノベーティブなスパースアライメントアルゴリズムを備えたゼロショット音声合成(TTS)システムであるtextitMegaTTS 3を提案する。 具体的には,検索空間を制限せずにアライメントの困難さを軽減するために,MegaTTS 3にスパースアライメント境界を提供する。 実験により、MegaTTS 3は最先端のゼロショットTTS音声品質を実現し、アクセント強度を柔軟に制御できることが示されている。
  論文  参考訳（メタデータ） (2025-02-26T08:22:00Z)
• DiTTo-TTS: Diffusion Transformers for Scalable Text-to-Speech without Domain-Specific Factors [8.419383213705789]
  本稿では,Diffusion Transformer (DiT) ベースのTSモデルであるDiTTo-TTSを導入し,LDMベースのTSがドメイン固有の要因を伴わずに最先端の性能を達成できるかどうかを検討する。 最小修正のDiTは、U-Netよりも優れており、音声長予測器による可変長モデリング、音声潜在表現のセマンティックアライメントなどの条件は、さらなる拡張の鍵となる。
  論文  参考訳（メタデータ） (2024-06-17T11:25:57Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• End-to-End Text-to-Speech using Latent Duration based on VQ-VAE [48.151894340550385]
  テキスト音声合成(TTS)におけるロバストかつ効率的なアライメントの実現の鍵となる明示的持続時間モデリング 本稿では,時間長をTSの離散潜在変数として組み込んだ明示的持続時間モデルを用いた新しいTSフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。