論文の概要: DurFlex-EVC: Duration-Flexible Emotional Voice Conversion with Parallel Generation

• arxiv url: http://arxiv.org/abs/2401.08095v3
• Date: Thu, 8 Aug 2024 23:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 20:40:55.648144
• Title: DurFlex-EVC: Duration-Flexible Emotional Voice Conversion with Parallel Generation
• Title（参考訳）: DurFlex-EVC:並列生成による持続的フレキシブル感情音声変換
• Authors: Hyung-Seok Oh, Sang-Hoon Lee, Deok-Hyeon Cho, Seong-Whan Lee,
• Abstract要約: スタイルオートエンコーダとユニット整合器を統合した長寿命フレキシブルECVを提案する。 アプローチの有効性は、主観的および客観的評価によって検証されている。
• 参考スコア（独自算出の注目度）: 34.19748360507656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotional voice conversion involves modifying the pitch, spectral envelope, and other acoustic characteristics of speech to match a desired emotional state while maintaining the speaker's identity. Recent advances in EVC involve simultaneously modeling pitch and duration by exploiting the potential of sequence-to-sequence models. In this study, we focus on parallel speech generation to increase the reliability and efficiency of conversion. We introduce a duration-flexible EVC (DurFlex-EVC) that integrates a style autoencoder and a unit aligner. The previous variable-duration parallel generation model required text-to-speech alignment. We consider self-supervised model representation and discrete speech units to be the core of our parallel generation. The style autoencoder promotes content style disentanglement by separating the source style of the input features and applying them with the target style. The unit aligner encodes unit-level features by modeling emotional context. Furthermore, we enhance the style of the features with a hierarchical stylize encoder and generate high-quality Mel-spectrograms with a diffusion-based generator. The effectiveness of the approach has been validated through subjective and objective evaluations and has been demonstrated to be superior to baseline models.
• Abstract（参考訳）: 感情的音声変換は、話者のアイデンティティを維持しながら、所望の感情状態に合うように、ピッチ、スペクトルエンベロープ、その他の音声特性を変更することを含む。 EVCの最近の進歩は、シーケンス・ツー・シーケンス・モデルのポテンシャルを利用してピッチと持続時間を同時にモデル化することである。 本研究では,変換の信頼性と効率を高めるために,並列音声生成に着目した。 本稿では,スタイルオートエンコーダとユニット整合器を統合した持続フレキシブルECV(DurFlex-EVC)を提案する。 以前の可変デュレーション並列生成モデルでは、テキストと音声のアライメントが必要だった。 自己教師付きモデル表現と離散音声単位を並列生成のコアとみなす。 スタイルオートエンコーダは、入力特徴のソーススタイルを分離し、ターゲットスタイルで適用することにより、コンテンツスタイルのゆがみを促進する。 単位整合器は感情コンテキストをモデル化して単位レベルの特徴を符号化する。 さらに、階層型スタイリズエンコーダを用いて特徴のスタイルを強化し、拡散型ジェネレータを用いて高品質なメルスペクトルを生成する。 提案手法の有効性は主観的,客観的評価によって検証され,ベースラインモデルよりも優れていることが実証された。

関連論文リスト

• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• Controlling Emotion in Text-to-Speech with Natural Language Prompts [29.013577423045255]
  本稿では,感情に富んだテキストの繰り返しから派生した埋め込みを前提としたシステムを提案する。 話者とプロンプト埋め込みの合同表現は、トランスフォーマーベースアーキテクチャ内のいくつかの点で統合される。 本手法は感情音声とテキストデータセットを融合して学習し,モデルの一般化能力を高めるため,各訓練におけるプロンプトを変化させる。
  論文  参考訳（メタデータ） (2024-06-10T15:58:42Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• Decoupling Speaker-Independent Emotions for Voice Conversion Via Source-Filter Networks [14.55242023708204]
  本研究では,話者に依存しない感情特徴の適切なフィルタリングを実現するために,ソースフィルタに基づく感情VCモデル(SFEVC)を提案する。 我々のSFEVCモデルはマルチチャネルエンコーダと感情分離エンコーダと1つのデコーダで構成されている。
  論文  参考訳（メタデータ） (2021-10-04T03:14:48Z)
• An Attribute-Aligned Strategy for Learning Speech Representation [57.891727280493015]
  属性選択機構によってこれらの問題に柔軟に対処できる音声表現を導出する属性整合学習戦略を提案する。 具体的には、音声表現を属性依存ノードに分解する層式表現可変オートエンコーダ(LR-VAE)を提案する。 提案手法は,IDのないSER上での競合性能と,無感情SV上でのより良い性能を実現する。
  論文  参考訳（メタデータ） (2021-06-05T06:19:14Z)
• Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。 本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。 提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-31T04:56:14Z)
• Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset [84.53659233967225]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、音声中の感情的韻律を変換することを目的としている。 可変自動符号化ワッサーシュタイン生成対向ネットワーク(VAW-GAN)に基づく新しいフレームワークを提案する。 提案するフレームワークは,ベースラインフレームワークを一貫して上回り,優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-10-28T07:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。