論文の概要: EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotations

• arxiv url: http://arxiv.org/abs/2412.06581v2
• Date: Wed, 11 Dec 2024 15:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:01:12.426595
• Title: EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotations
• Title（参考訳）: EmoSpeech:感情豊かで文脈的に細かな音声アノテーションのコーパス
• Authors: Weizhen Bian, Yubo Zhou, Kaitai Zhang, Xiaohan Gu,
• Abstract要約: 微妙な感情差を制御できるTTS(text-to-speech)システムの開発は、依然として困難な課題である。 既存の感情音声データベースは、広範囲の感情状態の取得に失敗する過度に単純化されたラベル付けスキームに悩まされることが多い。 本稿では,感情に富んだ音声セグメントを体系的に抽出し,それらに詳細な自然言語記述を付加することにより,データベース構築を目的とした新しいプロセスを提案する。
• 参考スコア（独自算出の注目度）: 1.9827837167752067
• License:
• Abstract: Advances in text-to-speech (TTS) technology have significantly improved the quality of generated speech, closely matching the timbre and intonation of the target speaker. However, due to the inherent complexity of human emotional expression, the development of TTS systems capable of controlling subtle emotional differences remains a formidable challenge. Existing emotional speech databases often suffer from overly simplistic labelling schemes that fail to capture a wide range of emotional states, thus limiting the effectiveness of emotion synthesis in TTS applications. To this end, recent efforts have focussed on building databases that use natural language annotations to describe speech emotions. However, these approaches are costly and require more emotional depth to train robust systems. In this paper, we propose a novel process aimed at building databases by systematically extracting emotion-rich speech segments and annotating them with detailed natural language descriptions through a generative model. This approach enhances the emotional granularity of the database and significantly reduces the reliance on costly manual annotations by automatically augmenting the data with high-level language models. The resulting rich database provides a scalable and economically viable solution for developing a more nuanced and dynamic basis for developing emotionally controlled TTS systems.
• Abstract（参考訳）: テキスト音声合成技術(TTS)技術の進歩は、生成した音声の品質を大幅に向上させ、ターゲット話者の音色と音色を密に一致させた。 しかし、人間の感情表現の本質的な複雑さのため、微妙な感情的差異を制御できるTSシステムの開発は、依然として困難な課題である。 既存の感情音声データベースは、広範囲の感情状態の取得に失敗する過度に単純化されたラベリングスキームに悩まされ、TTSアプリケーションにおける感情合成の有効性が制限される。 この目的のために、近年の取り組みは、自然言語アノテーションを使って音声の感情を記述するデータベースの構築に重点を置いている。 しかし、これらのアプローチはコストが高く、堅牢なシステムのトレーニングにはより感情的な深さを必要とする。 本稿では,感情に富んだ音声セグメントを体系的に抽出し,生成モデルによる詳細な自然言語記述を付加することにより,データベース構築を目的とした新しいプロセスを提案する。 このアプローチは、データベースの感情的な粒度を高め、高レベルの言語モデルで自動的にデータを増やすことによって、コストのかかる手作業によるアノテーションへの依存を著しく低減する。 結果として得られるリッチデータベースは、感情的に制御されたTSシステムを開発するための、よりニュアンスでダイナミックな基盤を開発するためのスケーラブルで経済的に実行可能なソリューションを提供する。

関連論文リスト

• EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector [26.656512860918262]
  EmoSphere++は感情制御可能なゼロショットTSモデルで、感情のスタイルや強度をコントロールでき、自然な人間の音声に似ています。 人間のアノテーションを使わずに感情のスタイルや強度をモデル化する,感情適応型球面ベクトルを新たに導入する。 条件付きフローマッチングに基づくデコーダを用いて,数ステップのサンプリングで高品質で表現力のある感情的TSを実現する。
  論文  参考訳（メタデータ） (2024-11-04T21:33:56Z)
• Making Social Platforms Accessible: Emotion-Aware Speech Generation with Integrated Text Analysis [3.8251125989631674]
  本稿では,エンドツーエンドの文脈認識型テキスト音声合成システムを提案する。 テキスト入力から伝達された感情を導き出し、自然な、表現力のある音声に対する感情と話者の特徴に焦点を当てた音声を合成する。 本システムでは,最先端のTSモデルと比較した場合の競合予測時間性能を示す。
  論文  参考訳（メタデータ） (2024-10-24T23:18:02Z)
• Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions [37.075331767703986]
  現在の感情的テキスト音声システムは、人間の感情の幅広い範囲を模倣する際の課題に直面している。 本稿では,喜び,覚醒,支配の制御を容易にするTTSフレームワークを提案する。 TTSトレーニング中に感情的な音声データを必要とせずに、感情的なスタイルの多様性を合成することができる。
  論文  参考訳（メタデータ） (2024-09-25T07:16:16Z)
• MM-TTS: A Unified Framework for Multimodal, Prompt-Induced Emotional Text-to-Speech Synthesis [70.06396781553191]
  MM-TTS(Multimodal Emotional Text-to-Speech System)は、複数のモーダルからの感情的手がかりを利用して、高表現的で感情的に共鳴する音声を生成する統合フレームワークである。 Emotion Prompt Alignment Module (EP-Align),Emotion Embedding-induced TTS (EMI-TTS),Emotion Embedding-induced TTS (Emotion Embedding-induced TTS) の2つの主要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-04-29T03:19:39Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction [55.47134146639492]
  この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。 実世界のデータを用いた実験により,提案手法は,コンテンツコヒーレンスと感情の適切性の両方の観点から,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-06T06:26:15Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)
• Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。 本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。 提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-31T04:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。