論文の概要: Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion

• arxiv url: http://arxiv.org/abs/2011.01678v2
• Date: Thu, 17 Jun 2021 12:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 05:45:53.364745
• Title: Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
• Title（参考訳）: 非定型音声変換のための韻律モデルと深層話者埋め込みの学習
• Authors: Disong Wang, Songxiang Liu, Lifa Sun, Xixin Wu, Xunying Liu and Helen Meng
• Abstract要約: 本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
• 参考スコア（独自算出の注目度）: 60.808838088376675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though significant progress has been made for the voice conversion (VC) of typical speech, VC for atypical speech, e.g., dysarthric and second-language (L2) speech, remains a challenge, since it involves correcting for atypical prosody while maintaining speaker identity. To address this issue, we propose a VC system with explicit prosodic modelling and deep speaker embedding (DSE) learning. First, a speech-encoder strives to extract robust phoneme embeddings from atypical speech. Second, a prosody corrector takes in phoneme embeddings to infer typical phoneme duration and pitch values. Third, a conversion model takes phoneme embeddings and typical prosody features as inputs to generate the converted speech, conditioned on the target DSE that is learned via speaker encoder or speaker adaptation. Extensive experiments demonstrate that speaker adaptation can achieve higher speaker similarity, and the speaker encoder based conversion model can greatly reduce dysarthric and non-native pronunciation patterns with improved speech intelligibility. A comparison of speech recognition results between the original dysarthric speech and converted speech show that absolute reduction of 47.6% character error rate (CER) and 29.3% word error rate (WER) can be achieved.
• Abstract（参考訳）: 典型的な音声の音声変換(VC)には大きな進歩があったが、話者のアイデンティティを維持しながら非典型的韻律の補正を行うため、非典型的音声のVC(例えば、変形性および第二言語(L2)音声)は依然として課題である。 この問題に対処するために、明示的な韻律モデリングと深層話者埋め込み(DSE)学習を用いたVCシステムを提案する。 まず,非定型音声からロバストな音素埋め込みを抽出する。 第二に、韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 第3に、変換モデルは、音素埋め込みと典型的な韻律特徴を入力として取り込んで、変換された音声を生成し、話者エンコーダまたは話者適応によって学習されるターゲットDSEに条件付けする。 広範囲な実験により、話者適応はより高い話者類似性を達成でき、話者エンコーダに基づく変換モデルは、音声の理解性を向上して、変形性および非ネイティブな発音パターンを大幅に低減することができる。 発声音声と変換音声との音声認識結果の比較により,47.6%の文字誤り率 (CER) と29.3%の単語誤り率 (WER) を絶対的に低減できることが示された。

関連論文リスト

• SKQVC: One-Shot Voice Conversion by K-Means Quantization with Self-Supervised Speech Representations [12.423959479216895]
  ワンショット音声変換(ワンショット音声変換、英: One-shot Voice conversion、VC)は、単一の話者発話のみを用いて、任意の2つの話者間の変換を可能にする方法である。 K平均量子化(KQ)と自己教師付き学習(SSL)機能を利用した最近の研究は、音声からコンテンツ情報をキャプチャできることを示した。 本稿では,SSLの特徴と音声属性を利用した,シンプルで効果的なワンショットVCモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T07:14:26Z)
• CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction [61.067153685104394]
  変形性音声再建(DSR)は、変形性音声を正常な音声に変換することを目的としている。 話者の類似度は低く、プロソディの自然度は低い。 本稿では、ニューラルネットワークモデリングを利用して再構成結果を改善するマルチモーダルDSRモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:42:21Z)
• Self-Supervised Speech Representations Preserve Speech Characteristics while Anonymizing Voices [15.136348385992047]
  我々は、自己教師付き音声表現を用いて、複数の音声変換モデルを訓練する。 変換音声は、元の音声の1%以内に低い単語誤り率を保持する。 調音・韻律・発声・音韻に関連する音声特徴を匿名音声から抽出できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:48:01Z)
• Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation [59.41186714127256]
  変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T08:59:36Z)
• On Prosody Modeling for ASR+TTS based Voice Conversion [82.65378387724641]
  音声変換において、最新の音声変換チャレンジ(VCC)2020における有望な結果を示すアプローチは、まず、ソース音声を基礎となる言語内容に書き起こすために、自動音声認識(ASR)モデルを使用することである。 このようなパラダイムはASR+TTSと呼ばれ、音声の自然性と変換の類似性において重要な役割を果たす韻律のモデル化を見落としている。 本稿では,ターゲットテキスト予測(TTP)と呼ばれる,ターゲット話者に依存した言語表現から直接韻律を予測することを提案する。
  論文  参考訳（メタデータ） (2021-07-20T13:30:23Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Adversarially learning disentangled speech representations for robust multi-factor voice conversion [39.91395314356084]
  本稿では,敵対的学習に基づくアンタングル型音声表現学習フレームワークを提案する。 内容、音色、リズム、ピッチを特徴付ける4つの音声表現を抽出し、さらに混乱させる。 実験の結果,提案手法はVCの頑健性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-01-30T08:29:55Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。