論文の概要: Sequential Trajectories and Simultaneous Blending: Multi-Emotion Modeling for Instruction-Following TTS
- arxiv url: http://arxiv.org/abs/2608.30325v1
- Date: Mon, 31 Aug 2026 06:42:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.261846
- Title: Sequential Trajectories and Simultaneous Blending: Multi-Emotion Modeling for Instruction-Following TTS
- Title（参考訳）: 逐次軌跡と同時曲げ:教育追従型TTSのためのマルチモーションモデリング
- Abstract要約: 本研究では、感情軌跡と感情ブレンディングの2つの相補的マルチ感情TSタスクについて検討する。
両タスクをSFTで初期化し,音声認識ポリシーを整列するポストトレーニングフレームワークであるHybridEmoを紹介する。
MultiEmo-Testでは、HybridEmoは、話者類似性の顕著な劣化を伴わずに、軌道の正しさとブレンディング強度を著しく改善する。
- 参考スコア（独自算出の注目度）: 22.067440995715373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural-language instructions enable flexible control of synthesized speech, yet emotional TTS systems primarily model a single utterance-level affect, leaving multi-emotion control underexplored. We study two complementary multi-emotion TTS tasks: emotion trajectory, which spans several ordered affective stages, and emotion blending, in which multiple emotions coexist throughout an utterance. These tasks expose a supervision mismatch: supervised fine-tuning (SFT) does not explicitly evaluate emotion features, while single-emotion rewards provide neither structure-aware feedback for trajectory completion nor pair-aware feedback for blending. We introduce HybridEmo, a post-training framework that initializes both tasks with SFT and then aligns the speech-token policy through Group Relative Policy Optimization using a sample-aware hybrid reward. For trajectory samples, segment-aligned consistency combines average and weakest-stage evidence to preserve the correctness and completeness of prescribed stages. For blending samples, a GMM-based reward combines frame-level support from the union of target-emotion anchors in an offline emotion space with an utterance-level weaker-target margin. Both branches share an ASR reward and are routed within a unified policy. On MultiEmo-Test, HybridEmo significantly improves trajectory correctness and blending intensity, without a noticeable degradation in speaker similarity. Human evaluation prefers HybridEmo to CosyVoice 3 and EmoVoice-0.5B, with nearly balanced preferences against Qwen3-TTS.
- Abstract（参考訳）: 自然言語命令は、合成音声の柔軟な制御を可能にするが、感情的なTSSシステムは、主に単一の発話レベルの感情をモデル化し、マルチ感情制御を過小評価する。
感情軌跡(感情軌道)と、複数の感情が発話を通して共存する感情混合(感情混合)の2つの相補的マルチ感情TSタスクについて検討した。
教師付き微調整(SFT)は感情の特徴を明示的に評価しないが、単一感情報酬は軌道完了のための構造認識フィードバックも、ブレンディングのためのペア認識フィードバックも提供しない。
両タスクをSFTで初期化する学習後フレームワークであるHybridEmoを紹介する。
軌道サンプルでは、セグメント整合性は、所定のステージの正確性と完全性を維持するために、平均と最も弱いステージの証拠を組み合わせる。
サンプルをブレンドするために、GMMベースの報酬は、オフラインの感情空間におけるターゲット感情アンカーの結合と、発話レベルの弱いターゲットマージンとのフレームレベルサポートを組み合わせる。
両支部はASRの報酬を共有しており、統一された政策でルートされる。
MultiEmo-Testでは、HybridEmoは、話者類似性の顕著な劣化を伴わずに、軌道の正しさとブレンディング強度を著しく改善する。
人間の評価では、CosyVoice 3やEmoVoice-0.5BよりもHybridEmoを好んでおり、Qwen3-TTSとほぼバランスが取れている。
関連論文リスト
- Multimodal Adaptive Expert Selection with Text Routing and Ordinal Prototype Optimization for Sentiment Analysis [2.3500677765052296]
マルチモーダル感性分析(MSA)は, 言語内容と非言語的手がかりを統合することで, 複雑な感情状態の解読を目的とする。
最近の遠絡型アプローチはこの分野を前進させたが、そのポテンシャルは2つの方法論的課題によって妨げられている。
テキストルーティングと正規プロトタイプ最適化によるマルチモーダル適応エキスパート選択(MAESTRO)を導入する。
静的融合とは異なり、このモジュールは言語コンテキストをルーティング信号として利用し、特定の音声・視覚の専門家を動的に活性化する。
論文 参考訳（メタデータ） (2026-08-31T12:59:37Z) - MultiAct: Text-to-Motion Generation from Composite Text via Tailored Attention Guidance [54.131431576597514]
MultiActは、合成テキスト-モーション合成のための未ペアの推論時間フレームワークである。
提案手法は,未表現のプロンプト成分に付随するクロスアテンションスコアを適応的に増幅することにより,意味的崩壊に対処する。
論文 参考訳（メタデータ） (2026-05-29T07:14:48Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering [25.10244503397448]
人間の言論における感情表現はニュアンス的で構成的であり、しばしば複数の矛盾する感情的な手がかりを含む。
ほとんどの表現力のあるテキスト音声システムは、単一の発話レベルの感情を強制し、感情の多様性を崩壊させ、混合あるいはテキスト感情のミスマッチした表現を抑制する。
本稿では,構成可能な混合感情合成と信頼性のあるテキスト感情ミスマッチ合成を可能にする定量的かつ制御可能なステアリングフレームワークとマルチレータ評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-02-03T11:45:00Z) - EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis [36.831497786147864]
EmoSteerレイヤを組み込んだ軽量なアクティベーションステアリングフレームワークであるEmoShiftを提案する。
EmoShiftは出力埋め込み空間内の各ターゲット感情に対するステアリングベクトルを学習し、その潜在オフセットをキャプチャし、安定した適切な表現を維持する。
完全な微調整の1/30未満のトレーニング可能なパラメータは10Mに過ぎず、EmoShiftはゼロショットと完全に微調整されたベースラインを客観的および主観的な評価で上回っている。
論文 参考訳（メタデータ） (2026-01-30T11:50:23Z) - Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization [5.96632248469088]
EASPO(Emotion-Aware Stepwise Preference Optimization, EASPO)は、拡散性TTSと微妙な感情的嗜好を中間認知ステップで一致させる学習後フレームワークである。
提案手法の中心となるのは、雑音の多い中間音声状態を記録し、自動選好ペア構築を可能にする時間条件付きモデルであるEASPMである。
実験は、表現性と自然性の両方において、既存の方法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2025-09-29T19:19:42Z) - Joint Learning using Mixture-of-Expert-Based Representation for Enhanced Speech Generation and Robust Emotion Recognition [54.44798086835314]
音声感情認識(SER)は感情認識音声システム構築において重要な役割を担っているが,その性能は雑音下で著しく低下する。
本稿では, フレームワイド・エキスパート・ルーティングを自己教師付き音声表現に応用した, フレキシブルMTLフレームワークSparse Mixture-of-Experts Representation Integration Technique (Sparse MERIT)を提案する。
MSP-Podcastコーパスの実験では、Sparse MERITはSERとSEの両方のタスクのベースラインモデルより一貫して優れていた。
論文 参考訳（メタデータ） (2025-09-10T10:18:56Z) - MEDUSA: A Multimodal Deep Fusion Multi-Stage Training Framework for Speech Emotion Recognition in Naturalistic Conditions [40.97520692736402]
MEDUSAは4段階のトレーニングパイプラインを備えたマルチモーダルフレームワークである。
DeepSERは、Deep-Modal Transformer fusionの新たな拡張である。
Manor MixUpは、さらなるレギュラー化のために使用される。
論文 参考訳（メタデータ） (2025-06-11T09:41:23Z) - UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。
EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。
EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
論文 参考訳（メタデータ） (2024-04-29T03:19:39Z) - Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。
広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-04-26T07:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。