論文の概要: Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech

• arxiv url: http://arxiv.org/abs/2610.11461v1
• Date: Thu, 08 Oct 2026 08:12:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.886009
• Title: Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech
• Title（参考訳）: 音声キャプションを超えて:対話型音声音声合成のための音声変換型スタイルプランニング
• Abstract要約: 自然言語スタイルの記述は、大きな言語モデルと制御可能なテキスト音声(TTS)の間の解釈可能なインターフェースを提供する 本稿では,テキストベースのスタイルプランナを,凍った下流TSモデルを用いて訓練する音声回帰型スタイルプランニング(SRSP)を提案する。 ISCSLP 2026 CoT-TTSコーパスの英語サブセットでは、SRSPはターゲット音声と低いメル-ケプストラム歪みとのより高い音声スタイルと感情類似性を達成している。
• 参考スコア（独自算出の注目度）: 13.90951969577916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural-language style descriptions provide an interpretable interface between large language models (LLMs) and controllable text-to-speech (TTS). However, using descriptions as pseudo-labels compresses target acoustics into text, and descriptive fidelity need not imply effective control of a particular synthesizer. We empirically show that speech-text alignment only weakly predicts downstream acoustic similarity among candidate instructions for the same utterance. We therefore propose Speech-Rewarded Style Planning (SRSP), which trains a text-based style planner through a frozen downstream TTS model. Given dialogue history and response text, the planner generates candidate instructions and is optimized with group-relative policy optimization (GRPO), using the teacher-forced likelihood of target speech tokens as the reward. On an English subset of the ISCSLP 2026 CoT-TTS corpus, SRSP achieves higher speech-style and emotion similarity to target speech and lower mel-cepstral distortion than the Base LLM and target-audio-informed captioning baselines. LLM-based expressive speech evaluation further shows gains over all baselines in contextual appropriateness and reference consistency.
• Abstract（参考訳）: 自然言語スタイルの記述は、大きな言語モデル(LLM)と制御可能なテキスト音声(TTS)の間の解釈可能なインターフェースを提供する。 しかし、擬似ラベルとして記述を使用することで、ターゲット音響をテキストに圧縮し、記述的忠実さは特定の合成器を効果的に制御する必要はない。 実験により,音声テキストのアライメントは,同じ発話に対する候補命令間の下流の音響的類似性を弱く予測するのみであることを示す。 そこで,本研究では,テキストベースのスタイルプランナを,凍った下流TSモデルを用いて訓練する音声回帰型スタイルプランニング(SRSP)を提案する。 対話履歴と応答テキストを与えられたプランナーは、候補命令を生成し、目標音声トークンの教師強制可能性を利用して、グループ相対ポリシー最適化(GRPO)を最適化する。 ISCSLP 2026 CoT-TTSコーパスの英語サブセットでは、SRSPは、ベースLLMやターゲットオーディオインフォームドキャプションベースラインよりも、ターゲット音声および低いメルケプストラム歪みに高い音声スタイルと感情類似性を達成している。 LLMに基づく表現的音声評価は、文脈的適切性および参照整合性において、全てのベースラインにまたがる利得を示す。

関連論文リスト

• Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts [20.986457042343684]
  フリーフォームテキスト・プロンプト・トゥ・ユニファイド・オーディオ・ジェネレーションという新しいタスクを導入する。 PlanAudioは統合された自己回帰型LLMベースのフレームワークである。 音声・音響・合成のシナリオで評価を行う。
  論文  参考訳（メタデータ） (2026-05-27T07:15:35Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM [42.93855899824886]
  新たな2分岐ArchiTecture(GOAT-TTS)を用いた音声合成手法を提案する。 GOAT-TTSは音声エンコーダとプロジェクタを組み合わせて連続的な音響埋め込みをキャプチャし、パラ言語的特徴(言語、音色、感情)と意味的テキスト表現の双方向の相関を可能にする。 実験の結果,GOAT-TTSは最先端のTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-15T01:44:56Z)
• AutoStyle-TTS: Retrieval-Augmented Generation based Automatic Style Matching Text-to-Speech Synthesis [19.141058309358424]
  本研究では,レトリーバル拡張生成(RAG)技術に基づくTTS(text-to-speech)フレームワークを提案する。 様々な文脈で高品質な音声サンプルを含む音声スタイルの知識データベースを構築した。 このスキームは、Llama、PER-LLM-Embedder、Mokaによって抽出された埋め込みを用いて知識データベースのサンプルとマッチングし、合成に最も適した音声スタイルを選択する。
  論文  参考訳（メタデータ） (2025-04-14T15:18:59Z)
• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model [13.572330725278066]
  提案手法の新たなポイントは、大量のデータで訓練された音声表現から組込みベクトルを得るためにSSLモデルを直接利用することである。 この不整合埋め込みにより、未知話者の再生性能が向上し、異なる音声によるリズム伝達が実現される。
  論文  参考訳（メタデータ） (2023-04-24T10:15:58Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。