論文の概要: On the Emotion Understanding of Synthesized Speech

• arxiv url: http://arxiv.org/abs/2603.16483v1
• Date: Tue, 17 Mar 2026 13:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.29054
• Title: On the Emotion Understanding of Synthesized Speech
• Title（参考訳）: 合成音声の感情理解について
• Authors: Yuan Ge, Haishu Zhao, Aokai Hao, Junxiang Zhang, Bei Li, Xiaoqian Liu, Chenglong Wang, Jianjin Wang, Bingsen Zhou, Bingyu Liu, Jingbo Zhu, Zhengtao Yu, Tong Xiao,
• Abstract要約: 感情は音声対話における中核的なパラ言語的特徴である。 現在の音声感情認識(SER)モデルは、合成音声に一般化できない。 生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
• 参考スコア（独自算出の注目度）: 63.13411068766772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion is a core paralinguistic feature in voice interaction. It is widely believed that emotion understanding models learn fundamental representations that transfer to synthesized speech, making emotion understanding results a plausible reward or evaluation metric for assessing emotional expressiveness in speech synthesis. In this work, we critically examine this assumption by systematically evaluating Speech Emotion Recognition (SER) on synthesized speech across datasets, discriminative and generative SER models, and diverse synthesis models. We find that current SER models can not generalize to synthesized speech, largely because speech token prediction during synthesis induces a representation mismatch between synthesized and human speech. Moreover, generative Speech Language Models (SLMs) tend to infer emotion from textual semantics while ignoring paralinguistic cues. Overall, our findings suggest that existing SER models often exploit non-robust shortcuts rather than capturing fundamental features, and paralinguistic understanding in SLMs remains challenging.
• Abstract（参考訳）: 感情は音声対話における中核的なパラ言語的特徴である。 感情理解モデルは、合成された音声に伝達する基本的な表現を学習し、感情理解結果を音声合成における感情表現性を評価するための、妥当な報酬または評価指標とすることが広く信じられている。 本研究では、データセット、識別・生成型SERモデル、多種多様な合成モデルにおいて、音声感情認識(SER)を体系的に評価することにより、この仮定を批判的に検証する。 現在のSERモデルは合成音声に一般化できないが、これは合成中の音声トークン予測が合成音声と人間の音声の表現ミスマッチを誘導するためである。 さらに、生成言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。 以上の結果から,既存のSERモデルは基本的特徴を捉えるのではなく,非破壊的ショートカットを利用することが多いことが示唆され,SLMのパラ言語的理解は依然として困難である。

関連論文リスト

• ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation [30.006550552714938]
  共感的音声対話は、言語内容だけでなく、豊富なパラ言語情報も理解する必要がある。 既存の音声から音声への大きな言語モデルは、ASRの転写に依存するか、エンコーダを使用して潜在表現を抽出する。 音声に基づく共感応答生成のためのフレームワークである textbfES4R を提案する。
  論文  参考訳（メタデータ） (2026-01-16T10:26:50Z)
• Evaluating Emotion Recognition in Spoken Language Models on Emotionally Incongruent Speech [0.13048920509133805]
  音声感情認識における4つの音声言語モデル(SLM)の評価を行った。 以上の結果から,SLMは音声の感情よりもテキストのセマンティクスに大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2025-10-29T00:45:36Z)
• Humane Speech Synthesis through Zero-Shot Emotion and Disfluency Generation [0.6964027823688135]
  現代の会話システムは、人間の相互作用の感情的な深さと非流動的な特徴を欠いている。 この欠点に対処するため、我々は革新的な音声合成パイプラインを設計した。 このフレームワーク内では、最先端の言語モデルが、ゼロショット設定で人間のような感情と分散の両方を導入する。
  論文  参考訳（メタデータ） (2024-03-31T00:38:02Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech [0.0]
  最先端の音声モデルは、人間の声にできるだけ近づこうとしている。 感情をモデル化することは、Text-To-Speech (TTS) 研究の不可欠な部分である。 EmoSpeechは、生成された音声におけるMOSスコアと感情認識の精度に関する既存のモデルを上回る。
  論文  参考訳（メタデータ） (2023-06-28T19:34:16Z)
• ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models [83.07390037152963]
  ZET-Speech はゼロショット適応型 TTS モデルである。 ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。 実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T08:52:00Z)
• Speech Synthesis with Mixed Emotions [77.05097999561298]
  異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。 次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。 実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
  論文  参考訳（メタデータ） (2022-08-11T15:45:58Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。