論文の概要: Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset

• arxiv url: http://arxiv.org/abs/2010.14794v2
• Date: Thu, 11 Feb 2021 02:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 05:55:12.808994
• Title: Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
• Title（参考訳）: 新しい感情音声データを用いた音声変換のための見掛けと見当たらない感情伝達
• Authors: Kun Zhou, Berrak Sisman, Rui Liu and Haizhou Li
• Abstract要約: 感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、音声中の感情的韻律を変換することを目的としている。 可変自動符号化ワッサーシュタイン生成対向ネットワーク(VAW-GAN)に基づく新しいフレームワークを提案する。 提案するフレームワークは,ベースラインフレームワークを一貫して上回り,優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 84.53659233967225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotional voice conversion aims to transform emotional prosody in speech while preserving the linguistic content and speaker identity. Prior studies show that it is possible to disentangle emotional prosody using an encoder-decoder network conditioned on discrete representation, such as one-hot emotion labels. Such networks learn to remember a fixed set of emotional styles. In this paper, we propose a novel framework based on variational auto-encoding Wasserstein generative adversarial network (VAW-GAN), which makes use of a pre-trained speech emotion recognition (SER) model to transfer emotional style during training and at run-time inference. In this way, the network is able to transfer both seen and unseen emotional style to a new utterance. We show that the proposed framework achieves remarkable performance by consistently outperforming the baseline framework. This paper also marks the release of an emotional speech dataset (ESD) for voice conversion, which has multiple speakers and languages.
• Abstract（参考訳）: 感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、音声中の感情的韻律を変換することを目的としている。 先行研究は、ワンホット感情ラベルなどの個別表現を条件としたエンコーダ・デコーダネットワークを用いて、感情の韻律をアンタングルできることを示した。 このようなネットワークは、一定の感情的なスタイルを覚えることを学ぶ。 本稿では,事前学習された音声感情認識(SER)モデルを用いて,学習中の感情の伝達と実行時の推論を行う,変分自動符号化ワッサースタイン生成対向ネットワーク(VAW-GAN)に基づく新しいフレームワークを提案する。 このようにして、ネットワークは、見えない感情スタイルと見えない感情スタイルの両方を、新しい発話に転送することができる。 提案フレームワークは,ベースラインフレームワークを一貫して上回り,優れた性能を発揮することを示す。 本稿では,複数の話者と言語を持つ音声変換のための感情音声データセット(ESD)のリリースについても述べる。

関連論文リスト

• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• In-the-wild Speech Emotion Conversion Using Disentangled Self-Supervised Representations and Neural Vocoder-based Resynthesis [15.16865739526702]
  本稿では,自己教師ネットワークを用いて発話の語彙的,話者的,感情的な内容を切り離す手法を提案する。 次に、HiFiGANボコーダを用いて、不整合表現をターゲット感情の音声信号に再合成する。 その結果,提案手法は入力音声の感情内容に適度に適応し,対象感情に対して自然な音声を合成できることがわかった。
  論文  参考訳（メタデータ） (2023-06-02T21:02:51Z)
• Nonparallel Emotional Voice Conversion For Unseen Speaker-Emotion Pairs Using Dual Domain Adversarial Network & Virtual Domain Pairing [9.354935229153787]
  トレーニングやテスト期間中に中性データのみが存在する話者の感情を変換する問題に対処する。 実データに存在しない話者と感情のペアを仮想的に組み込んだ仮想ドメインペアリング(VDP)トレーニング戦略を提案する。 ヒンディー語感情データベースを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2023-02-21T09:06:52Z)
• Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
  感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。 本稿では,感情の強さを明示的に表現し,制御することを目的とする。 本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
  論文  参考訳（メタデータ） (2022-01-10T02:11:25Z)
• Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。 本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。 提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-31T04:56:14Z)
• Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion [83.14445041096523]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、ある状態から別の状態へ音声の感情を変換することを目的としている。 パラレルデータを必要とせずに、誰の感情も変換できる話者非依存の感情音声変換フレームワークを提案する。 実験の結果,提案した話者非依存のフレームワークは,目に見える話者と目に見えない話者の双方に対して,競争的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-05-13T13:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。