論文の概要: EmphTTS: an emphasis-control TTS with reinforcement learning
- arxiv url: http://arxiv.org/abs/2609.27599v2
- Date: Tue, 06 Oct 2026 08:34:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 16:33:44.484767
- Title: EmphTTS: an emphasis-control TTS with reinforcement learning
- Title(参考訳): EmphTTS:強化学習による強調制御TTS
- Abstract要約: 本稿では,非自己回帰的TSSシステムであるEmphTTSを提案する。
EmphTTSは最強の制御性を実現し、最強の客観的評価を行う。
- 参考スコア(独自算出の注目度): 19.444522673673017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating controllable and human-like emphasis remains an open challenge in text-to-speech, even when explicit emphasis control signals are provided in the text input, limiting the communicative accuracy of synthetic speech in real-world applications. Reinforcement learning has recently shown promise for post-training TTS systems to align with human preference, yet existing methods have not been applied to word-level prosodic control. We present EmphTTS, a non-autoregressive TTS system that applies Group Relative Policy Optimization (GRPO) to the duration predictor with an emphasis localization reward, enabling direct optimization for word-level emphasis. Evaluations show that EmphTTS achieves the best emphasis controllability and performs the best in emphasis objective evaluation. In subjective preference tests, EmphTTS is significantly preferred over synthetic groundtruth and most baselines. Ablation studies show that GRPO improves emphasis realization beyond supervised-finetuning-based duration modeling and simple speaking-rate adjustment, while alleviating the mismatch between the independently trained duration predictor and TTS model.
- Abstract(参考訳): テキスト入力で明示的な強調制御信号が提供されても、実世界の応用において合成音声のコミュニケーション精度が制限されている場合でも、制御可能かつ人間的な強調を生成することは、テキスト音声におけるオープンな課題である。
強化学習は、最近、人間の好みに合わせて訓練後TSシステムを構築することを約束しているが、既存の手法は単語レベルの韻律制御には適用されていない。
EmphTTSは非自己回帰的TSSシステムであり,グループ相対ポリシー最適化(GRPO, Group Relative Policy Optimization, Group Relative Policy Optimization, Group Relative Policy Optimization, GRPO)を単語レベル強調の直接最適化を可能にする。
評価の結果,EmphTTSは最重要度を最善に制御し,客観的評価を最善に行うことがわかった。
主観的選好試験では、EmphTTSは合成基数やほとんどの基数よりも有意に好まれる。
アブレーション研究では、GRPOは教師付きファインタニングに基づく持続時間モデリングと単純な発話率調整以上の強調実現を向上し、独立的に訓練された継続時間予測器とTSモデルとのミスマッチを緩和することを示した。
関連論文リスト
- SCRIPT: Scalable Diffusion Policy with Multi-stage Training for Language-driven Physics-based Humanoid Control [72.5651722107621]
SCRIPTは、言語駆動の物理に基づくヒューマノイド制御のための多段階トレーニングフレームワークを備えたスケーラブルな拡散ポリシーである。
SCRIPTの中核はJAST-DiT(Joint Action-State-Text Diffusion Transformer)であり、アクション、物理状態、テキストを専用トークンストリームとして表現している。
自己回帰制御を安定させるために,近年の密集した文脈を保存し,長期的歴史から疎開したサンプルを抽出する非線形履歴条件付け機構を導入する。
論文 参考訳(メタデータ) (2026-05-21T14:17:21Z) - No Verifiable Reward for Prosody: Toward Preference-Guided Prosody Learning in TTS [1.9492333719038202]
Group Relative Policy Optimization (GRPO) を用いたニューラルテキスト音声(TTS)の最近の研究動向
テキストプロソディに対する検証可能な報酬がないため、GRPOは転写指向信号(CER/NLL)を訓練し、誤り率を下げるが、プロソディを単調で不自然な音声に分解する。
本手法では,1ラウンドあたり数百の人間ラベルの選好ペアのみを使用するテキスト開始直接選好最適化(DPO)方式でこの問題に対処する。
論文 参考訳(メタデータ) (2025-09-23T01:51:38Z) - Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。
そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文 参考訳(メタデータ) (2025-06-15T05:42:29Z) - Counterfactual Activation Editing for Post-hoc Prosody and Mispronunciation Correction in TTS Models [19.852233854729235]
既存の韻律操作のアプローチは、しばしば特別なモジュールや追加の訓練に依存し、ポストホック調整の能力を制限する。
本稿では,韻律と発音のポストホック制御を実現するために,事前学習されたTSモデルの内部表現を操作するモデル非依存の手法であるCounterfactual Activation Editingを紹介する。
実験の結果,提案手法は韻律的特徴を効果的に調整し,合成品質を保ちながら誤認識を補正することがわかった。
論文 参考訳(メタデータ) (2025-06-01T04:33:37Z) - Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。
1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
論文 参考訳(メタデータ) (2024-09-19T01:58:19Z) - Temporal Order Preserved Optimal Transport-based Cross-modal Knowledge Transfer Learning for ASR [36.250914527327005]
事前訓練された言語モデルから音響モデルに言語知識を移すことにより,音声認識の性能を大幅に向上させることが示されている。
ASRのための時間順序保存OT(TOT)に基づくクロスモーダルアライメント・アンド・ナレッジ・トランスファー(CAKT)を提案する。
論文 参考訳(メタデータ) (2024-09-03T19:11:15Z) - Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。
冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。
実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
論文 参考訳(メタデータ) (2023-05-18T22:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。