論文の概要: DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech

• arxiv url: http://arxiv.org/abs/2505.19687v1
• Date: Mon, 26 May 2025 08:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.290488
• Title: DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
• Title（参考訳）: DiEmo-TTS: テキストから音声へのクロススピーカー感情伝達のための自己教師付き蒸留によるアンタングル感情表現
• Authors: Deok-Hyeon Cho, Hyung-Seok Oh, Seung-Bin Kim, Seong-Whan Lee,
• Abstract要約: 音声合成における話者間感情伝達は、正確な感情モデリングのための話者非依存感情埋め込みの抽出に依存する。 本研究では,感情情報の損失を最小限に抑え,話者のアイデンティティを保持する自己教師型蒸留法であるDiEmo-TTSを提案する。
• 参考スコア（独自算出の注目度）: 26.656512860918262
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cross-speaker emotion transfer in speech synthesis relies on extracting speaker-independent emotion embeddings for accurate emotion modeling without retaining speaker traits. However, existing timbre compression methods fail to fully separate speaker and emotion characteristics, causing speaker leakage and degraded synthesis quality. To address this, we propose DiEmo-TTS, a self-supervised distillation method to minimize emotional information loss and preserve speaker identity. We introduce cluster-driven sampling and information perturbation to preserve emotion while removing irrelevant factors. To facilitate this process, we propose an emotion clustering and matching approach using emotional attribute prediction and speaker embeddings, enabling generalization to unlabeled data. Additionally, we designed a dual conditioning transformer to integrate style features better. Experimental results confirm the effectiveness of our method in learning speaker-irrelevant emotion embeddings.
• Abstract（参考訳）: 音声合成における話者間感情伝達は、話者特性を保持することなく、正確な感情モデリングのために、話者非依存の感情埋め込みを抽出することに依存する。 しかし、既存の音色圧縮手法では、話者と感情の特徴を完全に分離することができず、話者の漏洩と合成品質の劣化を引き起こした。 そこで本稿では,感情情報の損失を最小限に抑え,話者のアイデンティティを保持する自己教師型蒸留法であるDiEmo-TTSを提案する。 我々は,無関係な要因を除去しながら感情を保ちつつ,クラスタ駆動サンプリングと情報摂動を導入する。 このプロセスを容易にするために、感情属性予測と話者埋め込みを用いた感情クラスタリングおよびマッチング手法を提案し、ラベルなしデータの一般化を可能にする。 さらに、スタイル機能をよりよく統合するための二重条件変換器を設計した。 実験結果から,話者関連感情埋め込み学習における本手法の有効性が確認された。

関連論文リスト

• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• Improving speaker verification robustness with synthetic emotional utterances [14.63248006004598]
  話者検証(SV)システムは、特定の話者から発する音声サンプルが発するかどうかを確認するための認証サービスを提供する。 従来のモデルでは、感情的な発話を扱う場合、中立なモデルに比べて高いエラー率を示す。 この問題は、ラベル付き感情音声データの利用が限られていることに起因している。 本稿では,CycleGANフレームワークを用いたデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-11-30T02:18:26Z)
• Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition [27.098672790099304]
  感情情報は話者埋め込みに間接的に埋め込まれていると推定され、その未利用に繋がった。 本研究は,話者内クラスタの形で,感情と最先端の話者埋め込みの直接的かつ有用な関係を明らかにする。 音声の感情認識のための感情非ラベルデータに適用する新しいコントラスト事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-19T20:31:53Z)
• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech [1.4986031916712106]
  音声感情表現は、音声感情認識(SER)および感情テキスト音声(TTS)タスクにおいて重要な役割を果たす。 モデルは大多数の中立層に過度に適合し、堅牢で効果的な感情表現を生成できない。 我々は、モデルのトレーニングに拡張アプローチを使用し、不均衡なデータセットから効果的で一般化可能な感情表現を抽出できるようにする。
  論文  参考訳（メタデータ） (2023-06-09T07:04:56Z)
• In-the-wild Speech Emotion Conversion Using Disentangled Self-Supervised Representations and Neural Vocoder-based Resynthesis [15.16865739526702]
  本稿では,自己教師ネットワークを用いて発話の語彙的,話者的,感情的な内容を切り離す手法を提案する。 次に、HiFiGANボコーダを用いて、不整合表現をターゲット感情の音声信号に再合成する。 その結果,提案手法は入力音声の感情内容に適度に適応し,対象感情に対して自然な音声を合成できることがわかった。
  論文  参考訳（メタデータ） (2023-06-02T21:02:51Z)
• ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models [83.07390037152963]
  ZET-Speech はゼロショット適応型 TTS モデルである。 ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。 実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T08:52:00Z)
• Cross-speaker Emotion Transfer by Manipulating Speech Style Latents [7.384726530165295]
  本稿では,潜在型空間におけるベクトル演算を用いた話者間感情伝達と操作のための新しい手法を提案する。 少数のラベル付きサンプルを活用することで、話者のアイデンティティを損なうことなく、読み上げスタイルの音声から感情的な音声を生成する。
  論文  参考訳（メタデータ） (2023-03-15T02:34:03Z)
• Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
  感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。 本稿では,感情の強さを明示的に表現し,制御することを目的とする。 本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
  論文  参考訳（メタデータ） (2022-01-10T02:11:25Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。