論文の概要: EmoRES-TTS: Residual-Enhanced Vector Steering for Emotional Speech Generation

• arxiv url: http://arxiv.org/abs/2609.38157v1
• Date: Tue, 29 Sep 2026 17:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.827837
• Title: EmoRES-TTS: Residual-Enhanced Vector Steering for Emotional Speech Generation
• Title（参考訳）: EmoRES-TTS:感情音声生成のための残留強化ベクトルステアリング
• Abstract要約: 本研究では,凍結モデルの内部表現を自由化するためのベクトルステアリングについて検討する。 EmoRESは、バックボーンを再トレーニングすることなく2つのコンポーネントを制御する新しい方法である。
• 参考スコア（独自算出の注目度）: 64.35617375351545
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Emotion-conditioned text-to-speech (TTS) models may fail to express the requested emotion reliably, and improving controllability by additional training is costly in both computation and emotion-labeled speech training data. We therefore study vector steering, a training-free approach that modifies the internal representations of a frozen model. CoCoEmo, a conventional vector steering method for emotion TTS, treats each emotion vector as an indivisible direction controlled by a single global strength, limiting adherence to the requested emotion. In this work, we first discover that an emotion vector can be decomposed into a shared component that moves speech away from neutral expression and a residual component that directs generation toward the requested emotion. Building on this finding, we propose Emotion Residual-Enhanced Steering for TTS (EmoRES), a novel method that controls the two components without retraining the backbone. On IEMOCAP, EmoRES outperforms CoCoEmo across all four objective emotion metrics on the IndexTTS-2 and CosyVoice2 backbones. Rank correlation improves by 26.13 and 12.97 percentage points, corresponding to relative gains of 118.8% and 33.1%, while emotion hit rate improves by 12.95 and 6.92 points, corresponding to relative gains of 20.1% and 9.8%. Human evaluation further shows a relative improvement up to 35.0% in the rate at which listeners correctly identified the dominant requested emotion and up to a 17.3% improvement in fidelity, while listeners prefer EmoRES for naturalness in up to 63.8% of pairwise comparisons. Component ablations further demonstrate that effective control benefits from preserving the shared component while strengthening the residual of the emotion steering vectors.
• Abstract（参考訳）: 感情条件付きテキスト音声(TTS)モデルは、要求された感情を確実に表現することができず、追加トレーニングによる制御性の向上は、計算と感情ラベル付き音声訓練データの両方においてコストがかかる。 そこで本研究では,凍結モデルの内部表現を自由なトレーニング手法であるベクトルステアリングについて検討する。 CoCoEmoは、感情TSの従来のベクトルステアリング手法であり、各感情ベクトルを1つの大域的な強さによって制御される不可分な方向として扱い、要求された感情への固執を制限する。 本研究では、まず、感情ベクトルを、中性表現からスピーチを遠ざける共有成分と、要求された感情に向けて生成を指示する残留成分に分解できることを発見する。 そこで本研究では,TTS (EmoRES, Emotion Residual-Enhanced Steering for TTS) を提案する。 IEMOCAPでは、EmoRESはIndexTTS-2とCosyVoice2のバックボーン上の4つの客観的感情指標でCoCoEmoを上回っている。 ランク相関は26.13点、12.97点、相対利得は118.8%、33.1%、感情ヒット率は12.95点、6.92点、相対利得は20.1%、9.8%である。 人間の評価は、聴取者が支配的な要求された感情を正しく識別する割合が35.0%まで向上し、17.3%の忠実度が向上する一方で、聴取者は対比較の63.8%まで自然性にEmoRESを好んでいる。 コンポーネントの短縮により、感情の操舵ベクトルの残余を増強しながら、共有コンポーネントを保存することで効果的なコントロールの利点が示される。

関連論文リスト

• EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation [18.164040733848797]
  身体的会話エージェントは、音声や感情の状態に合わせて、全身の動き(身体のジェスチャーと表情)を同期させる必要がある。 我々は,凍結したQwen-3 Omniモデルに接続し,内部のMimiオーディオコーデックを2つの並列DiTジェネレータに再利用するフローマッチングフレームワークEMODY Flowを提案する。 訓練時補助感情分類器は、生成された動きを感情識別可能に強制することにより、感情感受性を回復する。
  論文  参考訳（メタデータ） (2026-08-19T07:47:02Z)
• RE-LLM: Refining Empathetic Speech-LLM Responses by Integrating Emotion Nuance [35.31585885627661]
  三次元感情埋め込みと補助学習を統合した音声-LLMであるRE-LLMを提案する。 実験では、3つのデータセットにまたがる共感の指標が統計的に有意な増加を示した。
  論文  参考訳（メタデータ） (2026-02-11T10:23:44Z)
• CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering [25.10244503397448]
  人間の言論における感情表現はニュアンス的で構成的であり、しばしば複数の矛盾する感情的な手がかりを含む。 ほとんどの表現力のあるテキスト音声システムは、単一の発話レベルの感情を強制し、感情の多様性を崩壊させ、混合あるいはテキスト感情のミスマッチした表現を抑制する。 本稿では,構成可能な混合感情合成と信頼性のあるテキスト感情ミスマッチ合成を可能にする定量的かつ制御可能なステアリングフレームワークとマルチレータ評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:45:00Z)
• EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis [36.831497786147864]
  EmoSteerレイヤを組み込んだ軽量なアクティベーションステアリングフレームワークであるEmoShiftを提案する。 EmoShiftは出力埋め込み空間内の各ターゲット感情に対するステアリングベクトルを学習し、その潜在オフセットをキャプチャし、安定した適切な表現を維持する。 完全な微調整の1/30未満のトレーニング可能なパラメータは10Mに過ぎず、EmoShiftはゼロショットと完全に微調整されたベースラインを客観的および主観的な評価で上回っている。
  論文  参考訳（メタデータ） (2026-01-30T11:50:23Z)
• Generating Natural-Language Surgical Feedback: From Structured Representation to Domain-Grounded Evaluation [66.7752700084159]
  外科的トレーナーからの高品質なフィードバックは,訓練者のパフォーマンス向上と長期的スキル獲得に不可欠である。 本稿では,実際の訓練者-訓練者間の文書から外科的行動オントロジーを学習する構造対応パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-11-19T06:19:34Z)
• Speech2AffectiveGestures: Synthesizing Co-Speech Gestures with Generative Adversarial Affective Expression Learning [52.73083137245969]
  そこで本稿では, 感情表現を適切に表現し, 3次元ポーズを合成する生成的対人ネットワークを提案する。 本ネットワークは,入力音声とシードポーズから符号化された特徴の組込み空間からジェスチャを合成するジェネレータと,合成されたポーズシーケンスと実3Dポーズシーケンスを識別する識別器とから構成される。
  論文  参考訳（メタデータ） (2021-07-31T15:13:39Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)
• x-vectors meet emotions: A study on dependencies between emotion and speaker recognition [38.181055783134006]
  話者認識のために学習した知識は、伝達学習を通じて感情認識に再利用可能であることを示す。 感情認識では,単純な線形モデルを用いることで,事前学習モデルから抽出した特徴の良好な性能が得られることを示す。 本稿では,感情が話者の検証に及ぼす影響について述べる。
  論文  参考訳（メタデータ） (2020-02-12T15:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。