論文の概要: X2-NativeCursor: Native-Token Text Progress Tracking for Incremental-Text Streaming Codec TTS
- arxiv url: http://arxiv.org/abs/2609.09677v1
- Date: Wed, 09 Sep 2026 03:46:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.891096
- Title: X2-NativeCursor: Native-Token Text Progress Tracking for Incremental-Text Streaming Codec TTS
- Title（参考訳）: X2-NativeCursor: インクリメンタルテキストストリーミングコーデックTSのためのネイティブトークンテキストプログレストラッキング
- Abstract要約: インクリメンタルテキストストリーミングテキスト音声合成(TTS)では、同期ハイライト、中断処理、対話履歴更新のためのオンラインテキストプログレストラッキングが必要である。
我々は、TTS生成器を変更することなく、波形復号化前のネイティブ音声トークンからの進捗を追跡する軽量オブザーバであるX2-NativeCursorを提案する。
- 参考スコア（独自算出の注目度）: 5.7645910998375385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Incremental-text streaming text-to-speech (TTS) needs online text progress tracking for synchronized highlighting, interruption handling, and dialogue-history updates. Input text arrives before it is spoken, so text arrival alone cannot indicate speech progress. Existing waveform-based alignment requires complete audio or adds acoustic processing during streaming. We propose X2-NativeCursor, a lightweight observer that tracks progress from native speech tokens before waveform decoding without changing the TTS generator. Its normalization plan links spoken labels to their original-text spans. Text and native-token encoders feed a local matcher that estimates the current label position. A separate output rule converts revisable position estimates into a cursor that never moves backward. Mean absolute error against an automatic reference is 0.151 Chinese characters with 80-ms lookahead, versus 1.253 characters with 320-ms lookahead for an online waveform baseline. Alignment real-time factor also decreases from 0.3598 to 0.0180 relative to this baseline. Lower tracking error is retained under a second automatic alignment reference. We evaluate X2-NativeCursor on Qwen3-TTS and validate its adaptation to CosyVoice2 by training a separate observer for each backbone. Code is publicly available at https://github.com/X-Square-Robot/X2Streaming-TTS.
- Abstract（参考訳）: インクリメンタルテキストストリーミングテキスト音声合成(TTS)では、同期ハイライト、中断処理、対話履歴更新のためのオンラインテキストプログレストラッキングが必要である。
入力テキストは、話される前に到着するので、テキストの到着だけでは、音声の進行を示すことはできない。
既存の波形ベースのアライメントは完全なオーディオを必要とするか、ストリーミング中に音響処理を追加する。
我々は、TTS生成器を変更することなく、波形復号化前のネイティブ音声トークンからの進捗を追跡する軽量オブザーバであるX2-NativeCursorを提案する。
正規化計画では、音声ラベルを元のテキストスパンにリンクする。
テキストとネイティブトークンエンコーダは、現在のラベル位置を推定するローカルなマーカをフィードする。
別個の出力ルールは、修正可能な位置推定値を、決して後方に動かないカーソルに変換する。
自動参照に対する絶対誤差は、80msのルックアヘッドを持つ0.151文字に対して、320msのルックアヘッドを持つ1.253文字はオンライン波形ベースラインである。
また、アライメントのリアルタイム係数も、このベースラインと比較して0.0598から0.0180に減少する。
追従誤差は、第2の自動アライメント基準の下で保持される。
我々は,Qwen3-TTS上のX2-NativeCursorを評価し,背骨ごとに異なるオブザーバをトレーニングすることにより,CosyVoice2への適応性を検証する。
コードはhttps://github.com/X-Square-Robot/X2Streaming-TTSで公開されている。
関連論文リスト
- Scalable Direction-Following TTS via Voice Impression-Guided Pseudo Triplet Construction [16.024524623990484]
そこで,本研究では,基準発話に対して所定の方向を反映する新たな発話を生成する方向追従TSSについて検討する。
主な課題は、そのような相対的な修正をキャプチャするトレーニングデータの欠如である。
本稿では,参照発話,方向テキスト,修正発話)の三重項を生成する,スケーラブルな擬似三重項構築パイプラインを提案する。
論文 参考訳（メタデータ） (2026-09-02T14:02:15Z) - VoXtream2: Full-stream TTS with dynamic speaking rate control [17.067283475630095]
VoXtream2は、動的発話速度制御を備えたゼロショットフルストリーム音声合成モデルである。
プロンプトテキストマスキングは、テキストなしの音声プロンプトを可能にし、プロンプトの書き起こしを不要にする。
フルストリームモードでは、コンシューマGPU上で74msのファーストパッケージレイテンシで、リアルタイムよりも4倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-13T18:49:25Z) - Voxtral Realtime [134.66962524291424]
Voxtral Realtimeはストリーミング自動音声認識モデルである。
オフラインの書き込み品質は、秒以下のレイテンシで一致します。
私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
論文 参考訳（メタデータ） (2026-02-11T19:17:10Z) - Calliope: A TTS-based Narrated E-book Creator Ensuring Exact Synchronization, Privacy, and Layout Fidelity [1.8338684045264522]
ナレーション付き電子書籍は、同期オーディオとデジタルテキストを組み合わせて、再生中の現在話されている単語や文をハイライトする。
現在、テキスト電子書籍を高品質なナレーション付き電子書籍に変換するためのオープンソースソリューションは存在しない。
このギャップを埋めるために設計されたオープンソースフレームワークであるCalliopeを紹介します。
論文 参考訳（メタデータ） (2026-02-11T10:54:59Z) - Qwen3-TTS Technical Report [64.94647392030824]
本稿では,Qwen3-TTSシリーズについて述べる。
Qwen3-TTSは最先端の3秒間音声クローニングと記述ベースの制御をサポートする。
Qwen3-TTSは、2つの音声トークンとともに、リアルタイム合成のためのデュアルトラックLMアーキテクチャを採用している。
論文 参考訳（メタデータ） (2026-01-22T03:51:43Z) - VoXtream: Full-Stream Text-to-Speech with Extremely Low Latency [17.067283475630095]
本稿では,VoXtreamについて紹介する。VoXtreamは,最初の単語から始まるリアルタイム使用のための,完全自動回帰・ゼロショットストリーミングテキスト音声合成システムである。
VoXtreamは、モノトニックアライメントスキームと、オンセットを遅らせない動的ルックアヘッドを使用して、入ってくる音素を直接オーディオトークンにマッピングする。
インクリメンタルな音素変換器、意味的および持続的トークンを予測する時間変換器、音響トークンを生成する深さ変換器を中心に構築されたVoXtreamは、我々の知る限り、一般に利用可能なストリーミングTSの最低遅延である102msを達成している。
論文 参考訳（メタデータ） (2025-09-19T13:26:46Z) - Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation [71.35243644890537]
エンドツーエンド音声翻訳(ST)は、中間転写を生成することなく、ソース言語音声を対象言語テキストに翻訳することを目的としている。
既存のゼロショット法は、音声とテキストの2つのモダリティを共有意味空間に合わせることに失敗する。
音声とテキストの両方のモダリティに適合する離散語彙空間を共用した離散的クロスモーダルアライメント(DCMA)法を提案する。
論文 参考訳（メタデータ） (2022-10-18T03:06:47Z) - Automatic Prosody Annotation with Pre-Trained Text-Speech Model [48.47706377700962]
本稿では,事前学習した音声エンコーダを用いたニューラルテキスト音声モデルを用いて,テキストオーディオデータから韻律境界ラベルを自動的に抽出する。
このモデルは、テキストデータと音声データに個別に事前訓練され、TTSデータを三重奏形式(音声、テキスト、韻律)で微調整する。
論文 参考訳（メタデータ） (2022-06-16T06:54:16Z) - Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。
変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。
これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2021-09-12T04:17:53Z) - Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and
Backward Transformers [49.403414751667135]
本稿では,音声認識のための新しいラベル同期音声テキストアライメント手法を提案する。
提案手法はラベル同期テキストマッピング問題として音声からテキストへのアライメントを再定義する。
自発日本語コーパス(CSJ)を用いた実験により,提案手法が正確な発話方向のアライメントを提供することを示した。
論文 参考訳（メタデータ） (2021-04-21T03:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。