論文の概要: EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector

• arxiv url: http://arxiv.org/abs/2411.02625v1
• Date: Mon, 04 Nov 2024 21:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:58:38.024090
• Title: EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
• Title（参考訳）: EmoSphere++: 感情適応型球ベクトルによる感情制御可能なゼロショットテキスト音声合成
• Authors: Deok-Hyeon Cho, Hyung-Seok Oh, Seung-Bin Kim, Seong-Whan Lee,
• Abstract要約: EmoSphere++は感情制御可能なゼロショットTSモデルで、感情のスタイルや強度をコントロールでき、自然な人間の音声に似ています。 人間のアノテーションを使わずに感情のスタイルや強度をモデル化する,感情適応型球面ベクトルを新たに導入する。 条件付きフローマッチングに基づくデコーダを用いて,数ステップのサンプリングで高品質で表現力のある感情的TSを実現する。
• 参考スコア（独自算出の注目度）: 26.656512860918262
• License:
• Abstract: Emotional text-to-speech (TTS) technology has achieved significant progress in recent years; however, challenges remain owing to the inherent complexity of emotions and limitations of the available emotional speech datasets and models. Previous studies typically relied on limited emotional speech datasets or required extensive manual annotations, restricting their ability to generalize across different speakers and emotional styles. In this paper, we present EmoSphere++, an emotion-controllable zero-shot TTS model that can control emotional style and intensity to resemble natural human speech. We introduce a novel emotion-adaptive spherical vector that models emotional style and intensity without human annotation. Moreover, we propose a multi-level style encoder that can ensure effective generalization for both seen and unseen speakers. We also introduce additional loss functions to enhance the emotion transfer performance for zero-shot scenarios. We employ a conditional flow matching-based decoder to achieve high-quality and expressive emotional TTS in a few sampling steps. Experimental results demonstrate the effectiveness of the proposed framework.
• Abstract（参考訳）: 感情テキスト音声(TTS)技術は近年大きな進歩を遂げているが、感情の複雑さや利用可能な感情音声データセットやモデルに制限があるため課題は残る。 それまでの研究は、感情的な音声データセットに限られていたり、広範囲な手動の注釈が必要であったり、様々な話者や感情的なスタイルをまたいで一般化する能力に制限されていた。 本稿では,感情制御可能なゼロショットTSモデルであるEmoSphere++について述べる。 人間のアノテーションを使わずに感情のスタイルや強度をモデル化する,感情適応型球面ベクトルを新たに導入する。 さらに,見知らぬ話者と見つからない話者の効果的な一般化を確実にする多層型エンコーダを提案する。 また、ゼロショットシナリオに対する感情伝達性能を向上させるための損失関数も導入する。 条件付きフローマッチングに基づくデコーダを用いて,数ステップのサンプリングで高品質で表現力のある感情的TSを実現する。 実験により,提案手法の有効性が示された。

関連論文リスト

• EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control [7.596581158724187]
  EmoKnob(エモノブ)は、任意の感情の少数の実証的なサンプルを用いて、音声合成におけるきめ細かい感情制御を可能にするフレームワークである。 我々の感情制御フレームワークは、音声に感情を効果的に埋め込んで、商用TTSサービスの感情表現性を超越していることを示す。
  論文  参考訳（メタデータ） (2024-10-01T01:29:54Z)
• Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions [37.075331767703986]
  現在の感情的テキスト音声システムは、人間の感情の幅広い範囲を模倣する際の課題に直面している。 本稿では,喜び,覚醒,支配の制御を容易にするTTSフレームワークを提案する。 TTSトレーニング中に感情的な音声データを必要とせずに、感情的なスタイルの多様性を合成することができる。
  論文  参考訳（メタデータ） (2024-09-25T07:16:16Z)
• EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech [34.03787613163788]
  EmoSphere-TTSは球面感情ベクトルを用いて表現的感情音声を合成し、合成音声の感情的スタイルと強度を制御する。 マルチアスペクト特性を反映して生成した音声の品質を向上させるための2つの条件付き対向ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T01:40:29Z)
• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech [1.4986031916712106]
  音声感情表現は、音声感情認識(SER)および感情テキスト音声(TTS)タスクにおいて重要な役割を果たす。 モデルは大多数の中立層に過度に適合し、堅牢で効果的な感情表現を生成できない。 我々は、モデルのトレーニングに拡張アプローチを使用し、不均衡なデータセットから効果的で一般化可能な感情表現を抽出できるようにする。
  論文  参考訳（メタデータ） (2023-06-09T07:04:56Z)
• ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models [83.07390037152963]
  ZET-Speech はゼロショット適応型 TTS モデルである。 ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。 実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T08:52:00Z)
• High-fidelity Generalized Emotional Talking Face Generation with Multi-modal Emotion Space Learning [43.09015109281053]
  よりフレキシブルで汎用的な顔生成フレームワークを提案する。 具体的には、テキストプロンプトで感情スタイルを補完し、テキスト、画像、音声の感情のモダリティを統一された空間に埋め込むためにアラインド・マルチモーダル・感情エンコーダを使用する。 感情条件と音声シーケンスを構造表現に接続する感情認識型オーディオ-to-3DMM変換器を提案する。
  論文  参考訳（メタデータ） (2023-05-04T05:59:34Z)
• Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
  感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。 本稿では,感情の強さを明示的に表現し,制御することを目的とする。 本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
  論文  参考訳（メタデータ） (2022-01-10T02:11:25Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset [84.53659233967225]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、音声中の感情的韻律を変換することを目的としている。 可変自動符号化ワッサーシュタイン生成対向ネットワーク(VAW-GAN)に基づく新しいフレームワークを提案する。 提案するフレームワークは,ベースラインフレームワークを一貫して上回り,優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-10-28T07:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。