論文の概要: COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2609.22697v2
• Date: Fri, 25 Sep 2026 13:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.021709
• Title: COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning
• Title（参考訳）: COT-TTS:Chain-of-Thought Reasoningを用いた音声コンテキスト対応テキスト音声合成
• Abstract要約: 自然な会話では、話し方は前回の会話の文脈から自然に推測されるべきである。 文脈認識型推論に基づく音声合成タスクCOT-TTSを提案する。 大規模なバイリンガル音声データセットを構築した。
• 参考スコア（独自算出の注目度）: 36.96048842389113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, text-to-speech systems have made significant progress in speech expressiveness and controllability. However, the speaking style of generated speech typically relies on clear user-specified instructions. In natural conversations, speaking style should be naturally inferred from the preceding conversational context. Therefore, we propose COT-TTS, a context-aware, reasoning-based text-to-speech task. Given historical conversation audio, target text, and a reference speech, the system should comprehend the conversational context, infer an explicit intermediate reasoning, and finally synthesize the target speech with the specified timbre. To support this task, we constructed a large-scale bilingual conversational speech dataset comprising 9 million training samples, including a high-quality subset of 1 million samples. We further constructed a source-disjoint benchmark with 800 human-verified samples and established strong task-specific baselines. Additionally, we developed end-to-end autoregressive models with parameter sizes of 0.6B and 1.7B, generating emotion-labeled transcripts, editable speech style inferences, and speech tokens. Experimental results show that the proposed model achieves performance comparable to large-scale baseline systems with significantly fewer parameters. At the same time, the model performs well in terms of duration consistency and emotional consistency, and can generate appropriate emotional, stress, and rhythmic variations based on the conversational context. To facilitate future research, we will publicly release the data construction pipeline, dataset, trained models, and related resources. The demo page and additional resources are available at https://luckybian.github.io/COT-TTS
• Abstract（参考訳）: 近年,テキスト音声合成システムは,音声表現性や可制御性に大きな進歩を遂げている。 しかし、生成した音声の話し方は、通常、明確なユーザ指定の指示に依存している。 自然な会話では、話し方は前回の会話の文脈から自然に推測されるべきである。 そこで本稿では,文脈認識型テキスト音声合成タスクであるCOT-TTSを提案する。 歴史的会話音声、ターゲットテキスト、参照音声が与えられた場合、システムは会話コンテキストを理解し、明示的な中間推論を推論し、最終的に特定の音色でターゲット音声を合成する。 この課題を支援するために、900万のトレーニングサンプルからなる大規模バイリンガル会話音声データセットを構築し、100万のサンプルの高品質なサブセットを構築した。 さらに,800個の人体認証サンプルを用いたソース・ディスジョイント・ベンチマークを構築し,タスク固有のベースラインを確立した。 さらに、パラメータサイズ0.6Bと1.7Bのエンドツーエンドの自動回帰モデルを開発し、感情ラベル付きテキスト、編集可能な音声スタイル推論、音声トークンを生成した。 実験の結果,提案モデルでは,パラメータが大幅に少ない大規模ベースラインシステムに匹敵する性能が得られた。 同時に、モデルは持続的一貫性と感情的一貫性の点でよく機能し、会話の文脈に基づいて適切な感情的、ストレス的、リズム的なバリエーションを生成することができる。 今後の研究を容易にするため、データ構築パイプライン、データセット、トレーニングされたモデル、関連するリソースを公開します。 デモページと追加リソースはhttps://luckybian.github.io/COT-TTSで公開されている。

関連論文リスト

• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• GRASS: Unified Generation Model for Speech-to-Semantic Tasks [7.044414457214718]
  本稿では,音声データに対するタスク関連プロンプトに条件付きターゲットテキストを生成する統合エンドツーエンド(E2E)フレームワークを提案する。 提案モデルでは, 実体認識, 音声感情分析, 音声質問応答などを含む多くのベンチマークにおいて, 最先端のSOTA(State-of-the-art)結果が得られた。 音声合成タスクの微調整の今後の取り組みを容易にするため,命令データセットとコードをリリースする。
  論文  参考訳（メタデータ） (2023-09-06T06:44:26Z)
• TextrolSpeech: A Text Style Control Speech Corpus With Codec Language Text-to-Speech Models [51.529485094900934]
  リッチテキスト属性を付加した最初の大規模音声感情データセットであるTextrolSpeechを提案する。 本稿では,GPTモデルを利用した多段階プロンプトプログラミング手法を提案する。 そこで我々は,より多様なスタイルで音声を生成する必要性に対処するため,Salleと呼ばれる効率的なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T09:06:32Z)
• ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading [65.88161811719353]
  本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。 まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。 我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。 実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-03T06:55:03Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。