論文の概要: AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
- arxiv url: http://arxiv.org/abs/2607.15755v1
- Date: Fri, 17 Jul 2026 08:47:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.800964
- Title: AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
- Title（参考訳）: AuEmoChat:会話音声合成のための認証感情理解とレンダリング
- Abstract要約: 会話音声合成(CSS)は,人間の感情表現と文脈整合性を用いて音声を合成することを目的としている。
既存のCSSメソッドは、予め定義された感情ラベル空間に制限があるため、人間の真の感情をレンダリングするのに苦労する。
感情理解とレンダリングのためのCSSフレームワークであるAuEmoChatを提案する。
- 参考スコア（独自算出の注目度）: 33.05360348964147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational Speech Synthesis (CSS) aims to synthesize speech with human-like emotional expression and contextual consistency in user-agent interactions. Existing CSS methods struggle to render authentic human emotions due to limited predefined emotion label spaces (e.g., seven emotion categories), while redundant multimodal tokens in multi-turn dialogue history interfere with context understanding. To address these issues, we propose AuEmoChat, a CSS framework for authentic emotion understanding and rendering. First, we develop AuEmoCodec, which learns a discrete authentic emotion token space from large-scale emotional speech via finite scalar quantization, enabling a more authentic emotion representation than limited basic emotion categories. We further propose AuEmoToMe, an authentic-emotion-guided token merging algorithm that merges redundant tokens in multimodal dialogue history while preserving emotion-relevant context. We integrate it into an autoregressive text-speech model to predict the target authentic emotion token and speech tokens. Finally, we propose Authentic Emotion Flow Matching, which renders speech by jointly conditioning on merged dialogue context, target authentic emotion, and acoustic priors. Extensive experiments on the NCSSD-EmCap dataset demonstrate that AuEmoChat outperforms state-of-the-art CSS baselines and generates more expressive and authentic emotional speech.
- Abstract（参考訳）: 会話音声合成(CSS)は,人間のような感情表現とユーザとエージェントの相互作用における文脈整合性によって音声を合成することを目的としている。
既存のCSS手法では、予め定義された感情ラベル空間(例:7つの感情カテゴリ)に制限があるため、人間の感情を正確に表現することは困難である。
このような問題に対処するため,我々は,感情理解とレンダリングのためのCSSフレームワークであるAuEmoChatを提案する。
まず、有限スカラー量子化により大規模感情音声から離散的な感情トークン空間を学習し、限られた基本的な感情カテゴリよりも正確な感情表現を可能にするAuEmoCodecを開発する。
さらに,マルチモーダル対話履歴に冗長なトークンをマージし,感情関連コンテキストを保存したAuEmoToMeを提案する。
自動回帰テキスト音声モデルに統合し、ターゲットの真正感情トークンと音声トークンを予測する。
最後に,統合された対話コンテキスト,ターゲットの真正感情,音響的先行性に基づいて,共同条件で音声を描画する認証感情フローマッチングを提案する。
NCSSD-EmCapデータセットに関する大規模な実験は、AuEmoChatが最先端のCSSベースラインを上回っ、より表現力があり、真正な感情的なスピーチを生成することを示した。
関連論文リスト
- Cross-Modal Emotion Transfer for Emotion Editing in Talking Face Video [17.472242712450473]
C-MET(Cross-Modal Emotion Transfer)は、音声に基づく表情を生成する新しい手法である。
本手法は,最先端手法よりも感情の精度を14%向上させる。
論文 参考訳（メタデータ） (2026-04-09T04:28:03Z) - EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。
外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。
EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-08-28T10:02:06Z) - UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech [61.989360995528905]
制御可能な感情的TTSのための離散的感情と次元的感情を統一する普遍的なフレームワークであるUDDETTSを提案する。
このモデルは、次元的感情記述のための解釈可能なArousal-Dominance-Valence(ADV)空間を導入し、離散的な感情ラベルまたは非線形に定量化されたADV値によって駆動される感情制御をサポートする。
実験の結果, UDDETTSは3次元の線形感情制御を実現し, エンドツーエンドの感情音声合成能力に優れていた。
論文 参考訳（メタデータ） (2025-05-15T12:57:19Z) - JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis [26.656512860918262]
JELLYは、会話において適切な音声を生成するための感情認識と文脈推論を統合する新しいフレームワークである。
本稿では,感情認識型Q-formerエンコーダを提案する。
モデル全体を会話音声データで微調整し、感情的文脈を推定し、会話の中で感情的に適切な音声を生成する。
論文 参考訳（メタデータ） (2025-01-09T01:32:44Z) - EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector [26.656512860918262]
EmoSphere++は感情制御可能なゼロショットTSモデルで、感情のスタイルや強度をコントロールでき、自然な人間の音声に似ています。
人間のアノテーションを使わずに感情のスタイルや強度をモデル化する,感情適応型球面ベクトルを新たに導入する。
条件付きフローマッチングに基づくデコーダを用いて,数ステップのサンプリングで高品質で表現力のある感情的TSを実現する。
論文 参考訳（メタデータ） (2024-11-04T21:33:56Z) - EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control [7.596581158724187]
EmoKnob(エモノブ)は、任意の感情の少数の実証的なサンプルを用いて、音声合成におけるきめ細かい感情制御を可能にするフレームワークである。
我々の感情制御フレームワークは、音声に感情を効果的に埋め込んで、商用TTSサービスの感情表現性を超越していることを示す。
論文 参考訳（メタデータ） (2024-10-01T01:29:54Z) - Attention-based Interactive Disentangling Network for Instance-level
Emotional Voice Conversion [81.1492897350032]
感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。
本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
論文 参考訳（メタデータ） (2023-12-29T08:06:45Z) - Emotion Rendering for Conversational Speech Synthesis with Heterogeneous
Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。
データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。
我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文 参考訳（メタデータ） (2023-12-19T08:47:50Z) - Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。
本稿では,感情の強さを明示的に表現し,制御することを目的とする。
本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
論文 参考訳（メタデータ） (2022-01-10T02:11:25Z) - EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional
Text-to-Speech Model [56.75775793011719]
音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。
入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。
実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
論文 参考訳（メタデータ） (2021-06-17T08:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。