論文の概要: We Need Variations in Speech Generation: Sub-center Modelling for Speaker Embeddings

• arxiv url: http://arxiv.org/abs/2407.04291v2
• Date: Fri, 23 May 2025 20:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:41.730623
• Title: We Need Variations in Speech Generation: Sub-center Modelling for Speaker Embeddings
• Title（参考訳）: 音声生成のバリエーション:話者埋め込みのためのサブセンタモデリング
• Authors: Ismail Rasim Ulgen, Carlos Busso, John H. L. Hansen, Berrak Sisman,
• Abstract要約: 本稿では,学習中に話者単位の複数のサブセンタを利用する新しい話者埋め込みネットワークを提案する。 このサブセンターモデリングにより、埋め込みは話者分類性能を維持しながら、幅広い話者固有のバリエーションを捉えることができる。
• 参考スコア（独自算出の注目度）: 47.2515056854372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling the rich prosodic variations inherent in human speech is essential for generating natural-sounding speech. While speaker embeddings are commonly used as conditioning inputs in personalized speech generation, they are typically optimized for speaker recognition, which encourages the loss of intra-speaker variation. This strategy makes them suboptimal for speech generation in terms of modeling the rich variations at the output speech distribution. In this work, we propose a novel speaker embedding network that employs multiple sub-centers per speaker class during training, instead of a single center as in conventional approaches. This sub-center modeling allows the embedding to capture a broader range of speaker-specific variations while maintaining speaker classification performance. We demonstrate the effectiveness of the proposed embeddings on a voice conversion task, showing improved naturalness and prosodic expressiveness in the synthesized speech.
• Abstract（参考訳）: 人間の発話に固有のリッチな韻律変化をモデル化することは、自然な音声を生成するのに不可欠である。 話者埋め込みは、パーソナライズされた音声生成における条件付け入力として一般的に使用されるが、一般的には話者認識に最適化されており、話者内変動の喪失を促進する。 この戦略は、出力音声分布のリッチな変動をモデル化するという点で、音声生成に最適である。 本研究では,従来の手法のように単一中心ではなく,学習中に複数のサブセンタを単位とする新しい話者埋め込みネットワークを提案する。 このサブセンターモデリングにより、埋め込みは話者分類性能を維持しながら、幅広い話者固有のバリエーションを捉えることができる。 合成音声における自然性および韻律表現性を向上した音声変換課題における埋め込みの有効性を示す。

関連論文リスト

• LoRP-TTS: Low-Rank Personalized Text-To-Speech [0.0]
  音声合成モデルは、テキストを自然な音声に変換する。 Low-Rank Adaptation (LoRA) は、ノイズの多い環境で自然発話の単一記録をプロンプトとしてうまく利用することができる。
  論文  参考訳（メタデータ） (2025-02-11T14:00:12Z)
• ELF: Encoding Speaker-Specific Latent Speech Feature for Speech Synthesis [5.824018496599849]
  多数の話者をモデル化する新しい手法を提案する。 訓練されたマルチスピーカーモデルのように、話者の全体的な特徴を詳細に表現することができる。
  論文  参考訳（メタデータ） (2023-11-20T13:13:24Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis [37.65745551401636]
  音声合成におけるクロススピーカースタイルの伝達は,音源話者から対象話者の音色を合成した音声へスタイルを伝達することを目的としている。 従来の方法では、合成された微細な韻律の特徴は、しばしばソース話者の平均的なスタイルを表す。 コンテントと音色からスタイルを引き離すために, 強度制御型半教師付きスタイル抽出器を提案する。
  論文  参考訳（メタデータ） (2023-03-14T08:52:58Z)
• ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations [12.20522794248598]
  自己教師付き学習で訓練された音声表現を用いたゼロショット音声変換法を提案する。 我々は,発話を言語内容,話者特性,発話スタイルなどの特徴に分解するマルチタスクモデルを開発した。 次に,その表現から音声信号を効果的に再構成できるピッチと時間予測器を備えた合成モデルを開発する。
  論文  参考訳（メタデータ） (2023-02-16T08:10:41Z)
• AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios [143.47967241972995]
  高品質音声合成のためのゼロショット適応型TSシステムであるAdaSpeech 4を開発した。 話者特性を体系的にモデル化し、新しい話者の一般化を改善する。 微調整なしでは、AdaSpeech 4は複数のデータセットのベースラインよりも声質と類似性が向上する。
  論文  参考訳（メタデータ） (2022-04-01T13:47:44Z)
• Facetron: Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations [22.14238843571225]
  個人の顔の映像を条件付けして、話者固有の音声波形を合成する効果的な方法を提案する。 唇読解モデルを用いて唇の動きから言語的特徴を抽出し,顔画像から話者特性を予測する。 本稿では,従来の手法よりも客観評価と主観評価の両面において,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-26T07:36:02Z)
• Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation [63.561944239071615]
  StyleSpeechは、高品質な音声を合成し、新しい話者に適応する新しいTSモデルである。 SALNでは、単一音声音声からでもターゲット話者のスタイルで音声を効果的に合成する。 提案手法をMeta-StyleSpeechに拡張するには,スタイルプロトタイプで訓練された2つの識別器を導入し,エピソード訓練を行う。
  論文  参考訳（メタデータ） (2021-06-06T15:34:11Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)
• Noise Robust TTS for Low Resource Speakers using Pre-trained Model and Speech Enhancement [31.33429812278942]
  提案したエンドツーエンド音声合成モデルでは,話者埋め込みと雑音表現をそれぞれモデル話者と雑音情報に対する条件入力として利用する。 実験結果から,提案手法により生成した音声は,直接調整したマルチ話者音声合成モデルよりも主観評価が優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-26T06:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。