論文の概要: Task Vector in TTS: Toward Emotionally Expressive Dialectal Speech Synthesis

• arxiv url: http://arxiv.org/abs/2512.18699v1
• Date: Sun, 21 Dec 2025 11:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.463768
• Title: Task Vector in TTS: Toward Emotionally Expressive Dialectal Speech Synthesis
• Title（参考訳）: TTSにおけるタスクベクトル:感情表現型対話音声合成に向けて
• Authors: Pengchao Feng, Yao Xiao, Ziyang Ma, Zhikang Niu, Shuai Fan, Yao Li, Sheng Wang, Xie Chen,
• Abstract要約: 方言と感情の両方を組み合わせたクロススタイルの合成は依然として困難であり、ほとんど探索されていない。 本稿では,感情対話型TSの2段階的手法である階層表現ベクトル(HE-)を提案する。 実験により、HE制御可能なベクトルは方言合成において優れた性能を示し、ゼロショット環境で感情表現音声を合成する有望な結果が得られた。
• 参考スコア（独自算出の注目度）: 21.649380837508392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in text-to-speech (TTS) have yielded remarkable improvements in naturalness and intelligibility. Building on these achievements, research has increasingly shifted toward enhancing the expressiveness of generated speech, such as dialectal and emotional TTS. However, cross-style synthesis combining both dialect and emotion remains challenging and largely unexplored, mainly due to the scarcity of dialectal data with emotional labels. To address this, we propose Hierarchical Expressive Vector (HE-Vector), a two-stage method for Emotional Dialectal TTS. In the first stage, we construct different task vectors to model dialectal and emotional styles independently, and then enhance single-style synthesis by adjusting their weights, a method we refer to as Expressive Vector (E-Vector). For the second stage, we hierarchically integrate these vectors to achieve controllable emotionally expressive dialect synthesis without requiring jointly labeled data, corresponding to Hierarchical Expressive Vector (HE-Vector). Experimental results demonstrate that HE-Vectors achieve superior performance in dialect synthesis, and promising results in synthesizing emotionally expressive dialectal speech in a zero-shot setting.
• Abstract（参考訳）: 最近のTTS(text-to-speech)の進歩は、自然性や知性に顕著な改善をもたらした。 これらの成果を生かした研究は、方言や感情的TTSなど、生成した音声の表現力を高める傾向が強まっている。 しかし、方言と感情の組み合わせによるクロススタイルの合成は、主に弁証データと感情ラベルが不足しているため、困難であり、探索されていない。 そこで我々は,感情対話型TSの2段階的手法である階層表現ベクトル(HE-Vector)を提案する。 第1段階では、弁証的・感情的なスタイルを個別にモデル化し、その重みを調整して単一スタイルの合成を強化するために、異なるタスクベクトルを構築し、その手法を表現ベクトル(Expressive Vector, E-Vector)と呼ぶ。 第2段階では、これらのベクトルを階層的に統合し、階層的表現ベクトル(HE-Vector)に対応する共同ラベル付きデータを必要としない、制御可能な感情表現型方言合成を実現する。 実験の結果,HE-Vectorsは方言合成において優れた性能を示し,感情表現型方言音声をゼロショットで合成する有望な結果が得られた。

関連論文リスト

• Towards Emotionally Consistent Text-Based Speech Editing: Introducing EmoCorrector and The ECD-TSE Dataset [52.95197015472105]
  EmoCorrectorはテキストベースの音声編集のための新しいポスト補正方式である。 編集されたテキストの感情的特徴を検索し、一致する感情で音声サンプルを検索し、所望の感情に合わせて音声を合成する。 EmoCorrectorは、現在のTSEメソッドにおける感情の不整合に対処しながら、意図した感情の発現を著しく向上させる。
  論文  参考訳（メタデータ） (2025-05-24T16:10:56Z)
• GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM [42.93855899824886]
  新たな2分岐ArchiTecture(GOAT-TTS)を用いた音声合成手法を提案する。 GOAT-TTSは音声エンコーダとプロジェクタを組み合わせて連続的な音響埋め込みをキャプチャし、パラ言語的特徴(言語、音色、感情)と意味的テキスト表現の双方向の相関を可能にする。 実験の結果,GOAT-TTSは最先端のTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-15T01:44:56Z)
• PROEMO: Prompt-Driven Text-to-Speech Synthesis Based on Emotion and Intensity Control [20.873353104077857]
  本稿では,素早い感情制御を中心にしたアプローチを提案する。 提案アーキテクチャは,複数話者間での感情と強度制御を取り入れたアーキテクチャである。 我々は,大言語モデル(LLM)を用いて,言語コンテンツを保存しながら音声韻律を操作する。
  論文  参考訳（メタデータ） (2025-01-10T12:10:30Z)
• UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
  UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。 EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。 EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
  論文  参考訳（メタデータ） (2024-04-29T03:19:39Z)
• AffectEcho: Speaker Independent and Language-Agnostic Emotion and Affect Transfer for Speech Synthesis [13.918119853846838]
  Affectは、原子価、覚醒、強さを含む感情的特徴であり、真正な会話を可能にする重要な属性である。 本稿では,Vector Quantized Codebookを用いた感情翻訳モデルAffectEchoを提案する。 それぞれの話者に特有のアイデンティティ、スタイル、感情のリズムを保ちながら、生成した音声の感情を制御する方法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-16T06:28:29Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)
• Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。 本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。 提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-31T04:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。