論文の概要: From Script to Drama: An Agentic Framework for Controllable Multi-Speaker Dialogue TTS

• arxiv url: http://arxiv.org/abs/2609.33362v1
• Date: Sun, 27 Sep 2026 08:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:41:43.274586
• Title: From Script to Drama: An Agentic Framework for Controllable Multi-Speaker Dialogue TTS
• Title（参考訳）: スクリプトからドラマへ: 制御可能なマルチスピーカ対話TSのためのエージェントフレームワーク
• Abstract要約: 多話者対話TSは、自然な音声生成、一貫した話者識別、コヒーレントな相互変換、感情、発話速度、大声といった表現的属性のきめ細かい制御を必要とする。 本稿では,合成を批判駆動の反復的改良として定式化する,制御可能な多話者対話型TSフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 25.33886806952766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-speaker dialogue TTS requires natural speech generation, consistent speaker identity, coherent cross-turn transitions, and fine-grained control of expressive attributes such as emotion, speaking rate, and loudness. These requirements are difficult to satisfy reliably with one-shot generation, especially in long-form dialogue. We propose a controllable multi-speaker dialogue TTS framework that formulates synthesis as critique-driven iterative refinement. Its speech backbone, ControlEdit-TTS, unifies instruction-following synthesis and natural-language-guided attribute editing, enabling correction of expressive errors without full regeneration. The framework further performs hierarchical utterance-level and scene-level critique, routing detected issues to editing, resynthesis, or timing adjustment. Experiments on a bilingual Chinese--English dialogue benchmark show improved utterance-level instruction following, better dialogue-level preference than direct dialogue models and agentic baselines, and more effective refinement than regeneration-only alternatives while preserving speaker identity. Ablations further confirm the benefits of scene-level critique and edit-based correction.
• Abstract（参考訳）: 多話者対話TSは、自然な音声生成、一貫した話者識別、コヒーレントな相互変換、感情、発話速度、大声といった表現的属性のきめ細かい制御を必要とする。 これらの要件は、特に長文対話において、ワンショット生成を確実に満たすことが困難である。 本稿では,合成を批判駆動の反復的改良として定式化する,制御可能な多話者対話型TSフレームワークを提案する。 その音声バックボーンであるControlEdit-TTSは、命令追従合成と自然言語誘導属性編集を統一し、完全な再生なしに表現誤りの修正を可能にする。 フレームワークはさらに、階層的発話レベルおよびシーンレベルの批判、検出された問題を編集、再合成、タイミング調整にルーティングする。 バイリンガル中国語-英語対話ベンチマークの実験では、発話レベルの指示の改善、直接対話モデルやエージェントベースラインよりも対話レベルの嗜好の向上、話者識別を維持しながら再生のみの代替品よりも効果的な改善が示されている。 アブレーションは、シーンレベルの批評と編集ベースの修正の利点をさらに確認する。

関連論文リスト

• PRISM: Prosody-Integrated Multi-Agent Reasoning Framework for Empathetic Spoken Dialogue [29.006038821337327]
  PRISMは共感的音声対話のためのマルチエージェントフレームワークである。 音声認識、応答生成、音声合成をコーディネートコンポーネントに分離する。
  論文  参考訳（メタデータ） (2026-06-11T04:59:33Z)
• MOSS-TTSD: Text to Spoken Dialogue Generation [62.04179716555789]
  複数の言語にまたがる多人数会話音声のための音声対話合成モデルであるMOSS-TTSDを提案する。 長文モデリングの強化により、MOSS-TTSDは明示的な話者タグを持つ対話スクリプトから長文音声対話を生成する。 このモデルは、英語や中国語を含む様々な主流言語をサポートし、いくつかの長文のシナリオに適応している。
  論文  参考訳（メタデータ） (2026-03-20T08:23:31Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• Instruct Once, Chat Consistently in Multiple Rounds: An Efficient Tuning Framework for Dialogue [13.774377524019723]
  マルチラウンド対話チューニング(Midi-Tuning)フレームワークを提案する。 エージェントとユーザを、大きな言語モデル上に構築された2つのアダプタで個別にモデル化する。 我々のフレームワークは従来の微調整よりも優れており、対話の整合性を改善する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-10T14:52:52Z)
• Towards human-like spoken dialogue generation between AI agents from written dialogue [8.4989907582951]
  本研究では,CHATS - CHATS-CHATty Agents Text-to-Speechを提案する。 本システムでは,話者側とリスナー側の両方に対して,話者側からの書き起こしのみを用いて同時に音声を生成することができる。
  論文  参考訳（メタデータ） (2023-10-02T11:03:20Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
  混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。 エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。 標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。 代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
  論文  参考訳（メタデータ） (2023-05-06T23:11:25Z)
• FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis [75.74906149219817]
  Conversational Text-to-Speech (TTS) は、会話の文脈において、適切な言語的・感情的な韻律で発話を合成することを目的としている。 本稿では, 音声生成時に, 微細で粗い文脈依存性を同時に学習する, FCTalkerと呼ばれる新しい表現型会話型TSモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-27T12:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。