論文の概要: Emotional Prosody Control for Speech Generation
- arxiv url: http://arxiv.org/abs/2111.04730v1
- Date: Sun, 7 Nov 2021 08:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-11 03:57:30.421255
- Title: Emotional Prosody Control for Speech Generation
- Title（参考訳）: 音声生成のための感情韻律制御
- Authors: Sarath Sivaprasad, Saiteja Kosgi, Vineet Gandhi
- Abstract要約: 本研究では,ユーザが連続的かつ有意義な感情空間から生成した音声の感情を選択することができるテキスト・トゥ・スピーチ(TTS)システムを提案する。
提案システムでは,任意の話者のスタイルでテキストから音声を生成することができる。
- 参考スコア（独自算出の注目度）: 7.66200737962746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine-generated speech is characterized by its limited or unnatural
emotional variation. Current text to speech systems generates speech with
either a flat emotion, emotion selected from a predefined set, average
variation learned from prosody sequences in training data or transferred from a
source style. We propose a text to speech(TTS) system, where a user can choose
the emotion of generated speech from a continuous and meaningful emotion space
(Arousal-Valence space). The proposed TTS system can generate speech from the
text in any speaker's style, with fine control of emotion. We show that the
system works on emotion unseen during training and can scale to previously
unseen speakers given his/her speech sample. Our work expands the horizon of
the state-of-the-art FastSpeech2 backbone to a multi-speaker setting and gives
it much-coveted continuous (and interpretable) affective control, without any
observable degradation in the quality of the synthesized speech.
- Abstract（参考訳）: 機械生成音声は、その限定的または不自然な感情の変化によって特徴づけられる。
現在の音声システムは、フラットな感情、予め定義されたセットから選択された感情、トレーニングデータ中の韻律シーケンスから学習された平均変化、あるいはソーススタイルから伝達された音声を生成する。
本稿では,連続的かつ有意義な感情空間(覚醒空間)から生成音声の感情を選択できるtext to speech(tts)システムを提案する。
提案するttsシステムは、感情を細かく制御しながら、任意の話者のスタイルでテキストから音声を生成することができる。
このシステムは、トレーニング中に目に見えない感情に作用し、以前の音声サンプルから見ない話者に拡張可能であることを示す。
我々の研究は、最先端のFastSpeech2バックボーンの地平線をマルチスピーカー設定に拡張し、合成音声の品質の観測可能な劣化を伴わずに、連続的な(そして解釈可能な)感情制御を可能にする。
関連論文リスト
- EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector [26.656512860918262]
EmoSphere++は感情制御可能なゼロショットTSモデルで、感情のスタイルや強度をコントロールでき、自然な人間の音声に似ています。
人間のアノテーションを使わずに感情のスタイルや強度をモデル化する,感情適応型球面ベクトルを新たに導入する。
条件付きフローマッチングに基づくデコーダを用いて,数ステップのサンプリングで高品質で表現力のある感情的TSを実現する。
論文 参考訳（メタデータ） (2024-11-04T21:33:56Z) - Making Social Platforms Accessible: Emotion-Aware Speech Generation with Integrated Text Analysis [3.8251125989631674]
本稿では,エンドツーエンドの文脈認識型テキスト音声合成システムを提案する。
テキスト入力から伝達された感情を導き出し、自然な、表現力のある音声に対する感情と話者の特徴に焦点を当てた音声を合成する。
本システムでは,最先端のTSモデルと比較した場合の競合予測時間性能を示す。
論文 参考訳（メタデータ） (2024-10-24T23:18:02Z) - Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions [37.075331767703986]
現在の感情的テキスト音声システムは、人間の感情の幅広い範囲を模倣する際の課題に直面している。
本稿では,喜び,覚醒,支配の制御を容易にするTTSフレームワークを提案する。
TTSトレーニング中に感情的な音声データを必要とせずに、感情的なスタイルの多様性を合成することができる。
論文 参考訳（メタデータ） (2024-09-25T07:16:16Z) - EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech [0.0]
最先端の音声モデルは、人間の声にできるだけ近づこうとしている。
感情をモデル化することは、Text-To-Speech (TTS) 研究の不可欠な部分である。
EmoSpeechは、生成された音声におけるMOSスコアと感情認識の精度に関する既存のモデルを上回る。
論文 参考訳（メタデータ） (2023-06-28T19:34:16Z) - ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech
Synthesis with Diffusion and Style-based Models [83.07390037152963]
ZET-Speech はゼロショット適応型 TTS モデルである。
ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。
実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
論文 参考訳（メタデータ） (2023-05-23T08:52:00Z) - Emotion Selectable End-to-End Text-based Speech Editing [63.346825713704625]
Emo-CampNet (Emotion CampNet) は感情選択可能なテキストベースの音声編集モデルである。
テキストベースの音声編集において、生成した音声の感情を効果的に制御することができる。
未知の話者のスピーチを編集することもできる。
論文 参考訳（メタデータ） (2022-12-20T12:02:40Z) - Textless Speech Emotion Conversion using Decomposed and Discrete
Representations [49.55101900501656]
我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。
まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。
最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
論文 参考訳（メタデータ） (2021-11-14T18:16:42Z) - EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional
Text-to-Speech Model [56.75775793011719]
音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。
入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。
実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
論文 参考訳（メタデータ） (2021-06-17T08:34:21Z) - Limited Data Emotional Voice Conversion Leveraging Text-to-Speech:
Two-stage Sequence-to-Sequence Training [91.95855310211176]
感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。
本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。
提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2021-03-31T04:56:14Z) - Seen and Unseen emotional style transfer for voice conversion with a new
emotional speech dataset [84.53659233967225]
感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、音声中の感情的韻律を変換することを目的としている。
可変自動符号化ワッサーシュタイン生成対向ネットワーク(VAW-GAN)に基づく新しいフレームワークを提案する。
提案するフレームワークは,ベースラインフレームワークを一貫して上回り,優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2020-10-28T07:16:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。