論文の概要: Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN

• arxiv url: http://arxiv.org/abs/2008.04562v3
• Date: Tue, 3 Nov 2020 16:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 12:12:43.277921
• Title: Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
• Title（参考訳）: CycleGANを用いた言語間音声変換のためのスペクトルと韻律変換
• Authors: Zongyang Du, Kun Zhou, Berrak Sisman, Haizhou Li
• Abstract要約: 言語間の音声変換は、ソース話者とターゲット話者が異なる言語を話すとき、ソース話者の音声をターゲット話者の音声のように聞こえるようにすることを目的としている。 従来の言語間音声変換の研究は、主にF0転送のための線形変換を伴うスペクトル変換に焦点を当てていた。 本稿では,F0モデリングにおける連続ウェーブレット変換(CWT)の分解手法を提案する。
• 参考スコア（独自算出の注目度）: 81.79070894458322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual voice conversion aims to change source speaker's voice to sound like that of target speaker, when source and target speakers speak different languages. It relies on non-parallel training data from two different languages, hence, is more challenging than mono-lingual voice conversion. Previous studies on cross-lingual voice conversion mainly focus on spectral conversion with a linear transformation for F0 transfer. However, as an important prosodic factor, F0 is inherently hierarchical, thus it is insufficient to just use a linear method for conversion. We propose the use of continuous wavelet transform (CWT) decomposition for F0 modeling. CWT provides a way to decompose a signal into different temporal scales that explain prosody in different time resolutions. We also propose to train two CycleGAN pipelines for spectrum and prosody mapping respectively. In this way, we eliminate the need for parallel data of any two languages and any alignment techniques. Experimental results show that our proposed Spectrum-Prosody-CycleGAN framework outperforms the Spectrum-CycleGAN baseline in subjective evaluation. To our best knowledge, this is the first study of prosody in cross-lingual voice conversion.
• Abstract（参考訳）: 言語間の音声変換は、ソース話者とターゲット話者が異なる言語を話すとき、ソース話者の音声をターゲット話者の音声に変化させることを目的としている。 2つの異なる言語の非並列学習データに依存しているため、単言語音声変換よりも難しい。 従来の言語間音声変換の研究は、主にF0転送のための線形変換を伴うスペクトル変換に焦点を当てていた。 しかし、重要な韻律的因子として、f0 は本質的に階層的であるため、変換に線形法を用いるだけでは不十分である。 連続ウェーブレット変換(CWT)のF0モデリングへの応用を提案する。 CWTは、信号を異なる時間スケールに分解し、異なる時間解像度で韻律を説明する方法を提供する。 また、2つのCycleGANパイプラインをそれぞれスペクトルと韻律マッピングのために訓練することを提案する。 このようにして、2つの言語の並列データやアライメント技術の必要性をなくします。 実験の結果,提案するSpectrum-Prosody-CycleGANフレームワークは主観評価においてSpectrum-CycleGANベースラインよりも優れていた。 我々の知る限り、これは言語間音声変換における最初の韻律の研究である。

関連論文リスト

• MulliVC: Multi-lingual Voice Conversion With Cycle Consistency [75.59590240034261]
  MulliVCは、音色のみを変換し、多言語ペアリングデータなしでオリジナルコンテンツとソースコードの韻律を保持する新しい音声変換システムである。 目的と主観の両方の結果から,MulliVCはモノリンガルとクロスリンガルの両方の文脈において,他の手法をはるかに上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-08-08T18:12:51Z)
• StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion [19.74933410443264]
  本稿では, StarGAN v2 と呼ばれるGAN (Generative Adversarial Network) を用いた教師なし多人数音声変換手法を提案する。 私たちのモデルは20人の英語話者でしか訓練されていません。 音声変換タスク、例えば、非対人、言語横断、歌唱などのタスクに一般化する。
  論文  参考訳（メタデータ） (2021-07-21T23:44:17Z)
• VAW-GAN for Disentanglement and Recomposition of Emotional Elements in Speech [91.92456020841438]
  変分自己符号化ワッサーシュタイン生成対向ネットワーク(VAW-GAN)による音声の感情要素のアンタングル化と再分解について検討する。 本稿では,2つのVAW-GANパイプライン,1つはスペクトル変換,もう1つは韻律変換を含む話者依存型ECVフレームワークを提案する。 提案手法の有効性を客観評価と主観評価の両方で検証した。
  論文  参考訳（メタデータ） (2020-11-03T08:49:33Z)
• Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion [0.0]
  言語間音声変換は、ソース話者とターゲット話者が異なる言語で話す間、同じ内容のターゲット音声を合成することを目的としたタスクである。 本稿では,モノリン言語ASRから言語間VCへの知識伝達に着目した。 外国語音声の書き起こしや言語固有の知識を必要とせず,言語間VCの対応に成功している。
  論文  参考訳（メタデータ） (2020-09-30T13:44:35Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• Many-to-Many Voice Transformer Network [55.17770019619078]
  本稿では,S2S学習フレームワークに基づく音声変換(VC)手法を提案する。 これにより、音声特性、ピッチ輪郭、入力音声の持続時間の同時変換が可能となる。
  論文  参考訳（メタデータ） (2020-05-18T04:02:08Z)
• End-to-End Whisper to Natural Speech Conversion using Modified Transformer Network [0.8399688944263843]
  シーケンス・ツー・シーケンス・アプローチを用いて、whisper-to-natural-speech変換を導入する。 本稿では,メル周波数ケプストラム係数やスムーズなスペクトル特徴などの異なる特徴について検討する。 提案するネットワークは、機能間変換のための教師ありアプローチを用いて、エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2020-04-20T14:47:46Z)
• Many-to-Many Voice Conversion using Conditional Cycle-Consistent Adversarial Networks [3.1317409221921144]
  我々は、CycleGANを話者にネットワークを条件付けすることで拡張する。 提案手法は,GAN(Generative Adversarial Network)を用いて複数話者間で多対多の音声変換を行うことができる。 提案手法は,各話者に対して複数のCycleGANを構築する場合と比較して,変換された音声の音質を損なうことなく,計算コストと空間コストを大幅に削減する。
  論文  参考訳（メタデータ） (2020-02-15T06:03:36Z)
• Transforming Spectrum and Prosody for Emotional Voice Conversion with Non-Parallel Training Data [91.92456020841438]
  多くの研究は、実生活では実用的ではない異なる感情パターン間の並列音声データを必要とする。 非並列トレーニングデータから最適な擬似ペアを見つけるために,CycleGANネットワークを提案する。 また、連続ウェーブレット変換(CWT)を用いてF0を10時間スケールに分解し、異なる時間分解における音声韻律を記述する。
  論文  参考訳（メタデータ） (2020-02-01T12:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。