論文の概要: Borderless Long Speech Synthesis
- arxiv url: http://arxiv.org/abs/2603.19798v1
- Date: Fri, 20 Mar 2026 09:37:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:39.088169
- Title: Borderless Long Speech Synthesis
- Title（参考訳）: 境界なし長音声合成
- Authors: Xingchen Song, Di Wu, Dinghao Zhou, Pengyu Cheng, Hongwu Ding, Yunchao He, Jie Wang, Shengfan Shen, Sixiang Lv, Lichun Fan, Hang Su, Yifeng Wang, Shuai Wang, Meng Meng, Jian Luan,
- Abstract要約: エージェント中心, 境界なし長音声合成のためのボーダーレス長音声合成フレームワークを提案する。
単一の狭いタスクをターゲットにするのではなく、VoiceDesigner、マルチスピーカー合成、インストラクションTS、長文テキスト合成にまたがる統一的な機能セットとして設計されている。
- 参考スコア（独自算出の注目度）: 30.36601404142387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing text-to-speech (TTS) systems either synthesize speech sentence by sentence and stitch the results together, or drive synthesis from plain-text dialogues alone. Both approaches leave models with little understanding of global context or paralinguistic cues, making it hard to capture real-world phenomena such as multi-speaker interactions (interruptions, overlapping speech), evolving emotional arcs, and varied acoustic environments. We introduce the Borderless Long Speech Synthesis framework for agent-centric, borderless long audio synthesis. Rather than targeting a single narrow task, the system is designed as a unified capability set spanning VoiceDesigner, multi-speaker synthesis, Instruct TTS, and long-form text synthesis. On the data side, we propose a "Labeling over filtering/cleaning" strategy and design a top-down, multi-level annotation schema we call Global-Sentence-Token. On the model side, we adopt a backbone with a continuous tokenizer and add Chain-of-Thought (CoT) reasoning together with Dimension Dropout, both of which markedly improve instruction following under complex conditions. We further show that the system is Native Agentic by design: the hierarchical annotation doubles as a Structured Semantic Interface between the LLM Agent and the synthesis engine, creating a layered control protocol stack that spans from scene semantics down to phonetic detail. Text thereby becomes an information-complete, wide-band control channel, enabling a front-end LLM to convert inputs of any modality into structured generation commands, extending the paradigm from Text2Speech to borderless long speech synthesis.
- Abstract（参考訳）: 既存のテキスト音声合成システム(TTS)は、文によって音声を合成し、結果を縫い合わせるか、平文対話のみから合成を駆動する。
どちらのアプローチも、グローバルな文脈やパラ言語的な手がかりをほとんど理解せずにモデルを残しており、マルチスピーカーの相互作用(中断、重複する音声)、感情的アークの進化、様々な音響環境といった現実世界の現象を捉えることは困難である。
エージェント中心, 境界なし長音声合成のためのボーダーレス長音声合成フレームワークを提案する。
単一の狭いタスクをターゲットにするのではなく、VoiceDesigner、マルチスピーカー合成、インストラクションTS、長文テキスト合成にまたがる統一的な機能セットとして設計されている。
データ側では、"フィルタリング/クリーン化よりもラベル化"戦略を提案し、Global-Sentence-Tokenと呼ぶトップダウンのマルチレベルアノテーションスキーマを設計する。
モデル側では、連続トークン化器を備えたバックボーンを採用し、複雑な条件下での指示を著しく改善するDmension Dropoutと共にChain-of-Thought(CoT)推論を追加する。
階層的アノテーションはLLMエージェントと合成エンジンの間の構造化セマンティックインタフェースとして二重化され、シーンのセマンティクスから音声の細部まで、階層化された制御プロトコルスタックを生成する。
これにより、テキストは情報完全で広帯域制御チャネルとなり、フロントエンドのLCMは任意のモダリティの入力を構造化された生成コマンドに変換することができ、そのパラダイムをText2Speechから境界のないロングスピーチ合成に拡張する。
関連論文リスト
- OpenS2S: Advancing Fully Open-Source End-to-End Empathetic Large Speech Language Model [59.02418683148991]
我々は,共感型音声対話を実現するために設計された,完全にオープンソースで透明でエンドツーエンドのLSLMであるOpenS2Sを提案する。
我々の共感型音声テキストモデルBLSP-Emoに基づいて、OpenS2Sは低レイテンシ音声生成を実現するためにストリーミングインターリーブデコードアーキテクチャを用いる。
大規模言語モデルを利用して共感的コンテンツを生成し,テキスト音声システムを制御することにより,多言語多言語多様度を有するスケーラブルな学習コーパスを構築する。
論文 参考訳（メタデータ） (2025-07-07T16:31:37Z) - GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM [42.93855899824886]
新たな2分岐ArchiTecture(GOAT-TTS)を用いた音声合成手法を提案する。
GOAT-TTSは音声エンコーダとプロジェクタを組み合わせて連続的な音響埋め込みをキャプチャし、パラ言語的特徴(言語、音色、感情)と意味的テキスト表現の双方向の相関を可能にする。
実験の結果,GOAT-TTSは最先端のTSモデルに匹敵する性能を示した。
論文 参考訳（メタデータ） (2025-04-15T01:44:56Z) - CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
改良されたストリーミング音声合成モデルCosyVoice 2を提案する。
具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。
我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
論文 参考訳（メタデータ） (2024-12-13T12:59:39Z) - CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。
トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
論文 参考訳（メタデータ） (2024-07-07T15:16:19Z) - A Vector Quantized Approach for Text to Speech Synthesis on Real-World
Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。
最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。
近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-08T17:34:32Z) - Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE [36.50265124324876]
本稿では,テキストと音声のペアを必要としない,教師なしの音声合成モデルであるUTTSを提案する。
このフレームワークは、話者の持続時間モデル、音色特徴(アイデンティティ)、TTS推論のための内容の柔軟な選択を提供する。
実験により、UTTSは人間と客観的評価によって測定された高い自然性と知性のある音声を合成できることが示されている。
論文 参考訳（メタデータ） (2022-06-06T11:51:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。