論文の概要: X2Streaming-TTS: Causal Token-Level Text-to-Speech from Streaming Text with Speech-State Inheritance

• arxiv url: http://arxiv.org/abs/2608.18661v1
• Date: Wed, 19 Aug 2026 08:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.338287
• Title: X2Streaming-TTS: Causal Token-Level Text-to-Speech from Streaming Text with Speech-State Inheritance
• Title（参考訳）: X2Streaming-TTS:音声を継承した音声テキストからの因果音素レベルテキスト音声合成
• Abstract要約: 低遅延音声対話システムではテキスト音声のストリーミングが不可欠であるが、多くのシステムは文レベルのテキストを待ち、従って擬似ストリーミングである。 X2Streaming-TTSは,非同期に受信したテキストトークンを消費し,将来の入力にアクセスすることなく音声を出力する因果的TTSフレームワークである。
• 参考スコア（独自算出の注目度）: 4.713402367550747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming text-to-speech is essential for low-latency spoken dialogue systems, yet many systems wait for sentence-level text and are therefore only pseudo-streaming. True token-level synthesis must generate speech from uncertain prefixes while maintaining perceptual continuity over an unbounded stream with bounded context. We present X2Streaming-TTS, a causal TTS framework that consumes asynchronously arriving text tokens and emits speech without accessing future input. To handle uncertain prefixes, we introduce causal commitment, which keeps ambiguous expressions provisional through uncertainty-aware buffering and performs capacity-adaptive, punctuation-aware segmentation. To preserve acoustic continuity, we further introduce causal speech-state inheritance, which carries the complete Code2Wav state and selected historical Talker states across segment boundaries. Together with an attention prior constraint, it blocks access to future positions while retaining bounded acoustic context. Experiments show that X2Streaming-TTS outperforms existing pseudo-streaming models on most subjective and objective metrics. Further analysis shows that causal commitment stabilizes online segmentation and reduces failures caused by insufficient context, while speech-state inheritance improves boundary continuity without degrading naturalness or speaker identity. X2Streaming-TTS thus achieves strict token-level synthesis with quality comparable to the evaluated offline baselines, a median time to first audio token (TTFT) of 15.8 ms for a single request, and a median TTFT of 260.8 ms at 128 concurrent requests. Our implementation is publicly available at https://github.com/X-Square-Robot/X2Streaming-TTS .
• Abstract（参考訳）: 低遅延音声対話システムではテキスト音声のストリーミングが不可欠であるが、多くのシステムは文レベルのテキストを待ち、従って擬似ストリーミングである。 真のトークンレベルの合成は、境界付きコンテキストを持つ非有界ストリーム上の知覚的連続性を維持しながら、不確定なプレフィックスから音声を生成する必要がある。 X2Streaming-TTSは,非同期に受信したテキストトークンを消費し,将来の入力にアクセスすることなく音声を出力する因果的TTSフレームワークである。 不確実な接頭辞を扱うために,不確実なバッファリングを通じて曖昧な表現を一時的に保ち,キャパシティ適応的で句読点認識のセグメンテーションを行う因果関係を導入する。 音声の連続性を維持するため,コーパス音声の状態継承も導入し,全コード2Wav状態とセグメント境界を越えた歴史的話者状態を選択する。 事前の制約により、境界音響コンテキストを維持しながら、将来の位置へのアクセスをブロックする。 実験によると、X2Streaming-TTSは既存の擬似ストリーミングモデルよりも主観的、客観的な指標の方が優れている。 さらに分析したところ、因果関係はオンラインセグメンテーションを安定化し、文脈不足による失敗を減らす一方で、発話状態の継承は自然性や話者のアイデンティティを低下させることなく境界の連続性を向上することが示された。 したがって、X2Streaming-TTSは、評価されたオフラインベースラインに匹敵する品質で厳密なトークンレベルの合成を実現し、単一の要求に対して15.8msの音声トークン(TTFT)を中央値とし、128の同時要求で260.8msのTTFTを中央値とする。 私たちの実装はhttps://github.com/X-Square-Robot/X2Streaming-TTSで公開されています。

関連論文リスト

• MagpieTTS-LF: Inference-Time Long-Form Speech Generation Without Training on Long-Form data [13.076032296543032]
  我々はMagpieTTS-LFと呼ばれる推論時アプローチを提案し、MagpieTTSはモデル再構成なしでコヒーレントな長文音声を生成することができる。 本手法では,(1)過去と将来の文脈を保存しながらモノトニックなアライメントを導くためのソフトアライメント,(2)文チャンク間のコンテキストを維持するステートフル推論アルゴリズム,(3)談話レベルの韻律計画に過去のテキストを使用する履歴対応テキストエンコーディング,の3つの重要なイノベーションを紹介する。
  論文  参考訳（メタデータ） (2026-06-16T20:58:26Z)
• Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation [48.98480497536377]
  ELF-S2Tは,音声からテキストへの連続ターゲット生成モデルである。 ELF-S2Tは凍結したウィスパーエンコーダと1つの線形プロジェクタを介して音声を処理する。 LibriSpeechとCoVoST2の実験により、ELF-S2Tは競争力のあるASRとS2TTの性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-06-09T03:27:30Z)
• Prosodic Boundary-Aware Streaming Generation for LLM-Based TTS with Streaming Text Input [37.127877690220934]
  ストリーミングテキストを受信するストリーミングTSは、インタラクティブシステムにとって不可欠である。 しかし、このスキームは2つの大きな課題に直面している。 本稿では,弱い時間整合データを用いて事前学習したLLMベースのTSモデルを適応した韻律的境界認識後学習戦略を提案する。
  論文  参考訳（メタデータ） (2026-03-06T16:36:51Z)
• StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling [50.537794606598254]
  StreamMelは、継続的メル-スペクトログラムをモデル化する、先駆的なシングルステージストリーミングTSフレームワークである。 高い話者類似性と自然性を保ちながら、低レイテンシで自己回帰的な合成を可能にする。 オフラインシステムに匹敵するパフォーマンスを実現し、効率的なリアルタイム生成もサポートしている。
  論文  参考訳（メタデータ） (2025-06-14T16:53:39Z)
• SyncSpeech: Low-Latency and Efficient Dual-Stream Text-to-Speech based on Temporal Masked Transformer [68.78023656892319]
  本稿では、ストリーミング音声を同時に生成しながら、上流モデルからストリーミングテキスト入力を受信できる、双方向ストリームテキスト音声(TTS)モデルSyncSpeechを提案する。 SyncSpeechには次のような利点がある: 低レイテンシ、第2のテキストトークンの受信時にストリーミング音声を生成し始めるとき、高効率、そして、受信したテキストトークンに対応するすべての音声トークンを1ステップでデコードするとき、。
  論文  参考訳（メタデータ） (2025-02-16T12:14:17Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• StreamAtt: Direct Streaming Speech-to-Text Translation with Attention-based Audio History Selection [23.75894159181602]
  Streaming Speech-to-text Translation (StreamST)は、音声ストリームをインクリメンタルに受信しながら自動的に音声を翻訳するタスクである。 第1のStreamSTポリシであるStreamAttを導入し,第1のStreamSTレイテンシメトリックであるStreamLAALを提案する。
  論文  参考訳（メタデータ） (2024-06-10T08:27:58Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。