論文の概要: EmoTra-TTS: Smooth Intra-Utterance Emotion Transitions for Speech Synthesis
- arxiv url: http://arxiv.org/abs/2608.23791v1
- Date: Mon, 24 Aug 2026 19:44:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.570729
- Title: EmoTra-TTS: Smooth Intra-Utterance Emotion Transitions for Speech Synthesis
- Title（参考訳）: EmoTra-TTS:音声合成のためのSmooth intra-Utterance Emotion transitions
- Abstract要約: EmoTra-TTSは、単一の離散ラベルや発話毎の静的埋め込みを必要としない、感情的なテキスト音声合成(TTS)システムである。
EmoTra-TTSは、遅延オーバーヘッドのないパラメータ+0.43%しか追加せず、感情遷移の質が30%-87%向上し、対の選好テストでは64.4%-79.5%の総勝利率で相関している。
- 参考スコア（独自算出の注目度）: 27.6626018322393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Psychological research on emotion dynamics has established that human affect is a continuous, evolving process: emotions rise, decay, and transition within seconds. Current emotional text-to-speech (TTS) systems, however, condition on a single discrete label or static embedding per utterance, fundamentally misaligning with the temporal nature of affect. While recent LLM-based TTS systems may implicitly vary prosody through text understanding, such variation is neither explicitly controllable nor precise enough for targeted intra-utterance transitions. We address three challenges: (1) a multi-pass flow blending pipeline synthesizes frame-aligned transition audio, circumventing the scarcity of natural intra-utterance transitions; (2) dual-stage Valence-Arousal-Dominance (VAD) conditioning guides prosodic planning in the LLM and acoustic realization in the flow decoder via frame-level VAD embeddings; (3) direction-magnitude decoupled injection structurally separates emotion direction from injection magnitude, preventing content degradation. EmoTra-TTS adds only +0.43% parameters with no latency overhead, achieves 30%-87% relative improvement on emotion transition quality, corroborated by 64.4%-79.5% overall win rates in pairwise preference tests against four SOTA baselines and two commercial systems.
- Abstract（参考訳）: 感情力学に関する心理学的な研究は、人間の感情は、数秒以内に感情が上昇し、崩壊し、遷移するという、継続的な進化過程であるということを確立している。
しかし、現在の感情的テキスト音声(TTS)システムでは、個々の個別ラベルや発話ごとの静的埋め込みの状態は、感情の時間的性質と根本的に違っている。
最近のLLMベースのTSシステムは、テキスト理解を通じて暗黙的に韻律を変化させるが、そのような変化は明示的に制御可能でもなく、発話内遷移を目的とするのに十分正確ではない。
我々は,(1)多経路流ブレンディングパイプラインがフレームアライン・トランジション・オーディオを合成し,自然な発話内遷移の欠如を回避し,(2)2段階のValence-Arousal-Dominance(VAD)コンディショニングガイドがLLMの韻律的プランニングとフレームレベルのVAD埋め込みによるフローデコーダの音響的実現,(3)方向のデカップリング・インジェクションが,感情方向をインジェクションの規模から構造的に分離し,内容劣化を防止する,という3つの課題に対処する。
EmoTra-TTSは、遅延オーバーヘッドのないパラメータ+0.43%しか追加せず、感情遷移の質を30%から87%改善する。
関連論文リスト
- Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。
既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。
本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
論文 参考訳（メタデータ） (2026-09-11T13:24:35Z) - Sequential Trajectories and Simultaneous Blending: Multi-Emotion Modeling for Instruction-Following TTS [22.067440995715373]
本研究では、感情軌跡と感情ブレンディングの2つの相補的マルチ感情TSタスクについて検討する。
両タスクをSFTで初期化し,音声認識ポリシーを整列するポストトレーニングフレームワークであるHybridEmoを紹介する。
MultiEmo-Testでは、HybridEmoは、話者類似性の顕著な劣化を伴わずに、軌道の正しさとブレンディング強度を著しく改善する。
論文 参考訳（メタデータ） (2026-08-31T06:42:52Z) - CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation [18.841894940869157]
Valence--Arousal representations for fine-fine emotion control をベースとした音声駆動型3D顔アニメーションフレームワークCETalkを提案する。
CETalkは,リップシンク精度と感情表現性の両方において,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-08-15T08:22:50Z) - CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
CuteTTSはコンパクトな連続自己回帰型TSシステムである。
意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
論文 参考訳（メタデータ） (2026-08-09T11:10:20Z) - EmoWorld: A Decoupled Affective Field for Controllable Emotional Video Generation [5.91698805485263]
EmoWorldはフリーズフローマッチングビデオ拡散変換器(Video DiT)内の因子を分離するフレームワーク
テキスト・ツー・ビデオと画像・ツー・ビデオの設定において27の感情カテゴリで評価され、複数のビデオ-DiTバックボーン間のポータビリティを示し、ジェネレータパラメータを更新せずにカメラ条件のコンポジションをサポートする。
論文 参考訳（メタデータ） (2026-08-06T16:20:23Z) - Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech [11.976178882036466]
我々は,大規模言語モデル (LLM) に基づく音声合成システムにおける意味的隠蔽状態の感情関連変動を分析した。
分析の結果、感情の変化は複数のスパースな潜在特徴に分散し、小さなサブセットに介入することで、解釈可能な感情制御が可能であることが判明した。
バックボーンパラメータを変更することなく、双方向の感情誘導と抑制のための特徴レベル介入フレームワークを導入する。
論文 参考訳（メタデータ） (2026-05-31T22:39:45Z) - EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis [36.831497786147864]
EmoSteerレイヤを組み込んだ軽量なアクティベーションステアリングフレームワークであるEmoShiftを提案する。
EmoShiftは出力埋め込み空間内の各ターゲット感情に対するステアリングベクトルを学習し、その潜在オフセットをキャプチャし、安定した適切な表現を維持する。
完全な微調整の1/30未満のトレーニング可能なパラメータは10Mに過ぎず、EmoShiftはゼロショットと完全に微調整されたベースラインを客観的および主観的な評価で上回っている。
論文 参考訳（メタデータ） (2026-01-30T11:50:23Z) - DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech [49.128847336227636]
音声合成における話者間感情伝達は、正確な感情モデリングのための話者非依存感情埋め込みの抽出に依存する。
本研究では,感情情報の損失を最小限に抑え,話者のアイデンティティを保持する自己教師型蒸留法であるDiEmo-TTSを提案する。
論文 参考訳（メタデータ） (2025-05-26T08:47:39Z) - UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。
EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。
EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
論文 参考訳（メタデータ） (2024-04-29T03:19:39Z) - Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。
広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-04-26T07:30:32Z) - Attention-based Interactive Disentangling Network for Instance-level
Emotional Voice Conversion [81.1492897350032]
感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。
本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
論文 参考訳（メタデータ） (2023-12-29T08:06:45Z) - Emphasis control for parallel neural TTS [8.039245267912511]
音声信号によって伝達される意味情報は、韻律の局所的な変化に強く影響される。
近年のパラレル・ニューラルテキスト・トゥ・音声(TTS)法は,高性能を維持しつつ高い忠実度で音声を生成することができる。
本稿では,重心変化に対応する潜在空間を学習することにより,韻律強調制御のための階層型並列型ニューラルネットワークTSシステムを提案する。
論文 参考訳（メタデータ） (2021-10-06T18:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。