論文の概要: MulliVC: Multi-lingual Voice Conversion With Cycle Consistency
- arxiv url: http://arxiv.org/abs/2408.04708v1
- Date: Thu, 8 Aug 2024 18:12:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:18:49.525307
- Title: MulliVC: Multi-lingual Voice Conversion With Cycle Consistency
- Title（参考訳）: MulliVC: サイクル一貫性を備えた多言語音声変換
- Authors: Jiawei Huang, Chen Zhang, Yi Ren, Ziyue Jiang, Zhenhui Ye, Jinglin Liu, Jinzheng He, Xiang Yin, Zhou Zhao,
- Abstract要約: MulliVCは、音色のみを変換し、多言語ペアリングデータなしでオリジナルコンテンツとソースコードの韻律を保持する新しい音声変換システムである。
目的と主観の両方の結果から,MulliVCはモノリンガルとクロスリンガルの両方の文脈において,他の手法をはるかに上回っていることが示唆された。
- 参考スコア（独自算出の注目度）: 75.59590240034261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Voice conversion aims to modify the source speaker's voice to resemble the target speaker while preserving the original speech content. Despite notable advancements in voice conversion these days, multi-lingual voice conversion (including both monolingual and cross-lingual scenarios) has yet to be extensively studied. It faces two main challenges: 1) the considerable variability in prosody and articulation habits across languages; and 2) the rarity of paired multi-lingual datasets from the same speaker. In this paper, we propose MulliVC, a novel voice conversion system that only converts timbre and keeps original content and source language prosody without multi-lingual paired data. Specifically, each training step of MulliVC contains three substeps: In step one the model is trained with monolingual speech data; then, steps two and three take inspiration from back translation, construct a cyclical process to disentangle the timbre and other information (content, prosody, and other language-related information) in the absence of multi-lingual data from the same speaker. Both objective and subjective results indicate that MulliVC significantly surpasses other methods in both monolingual and cross-lingual contexts, demonstrating the system's efficacy and the viability of the three-step approach with cycle consistency. Audio samples can be found on our demo page (mullivc.github.io).
- Abstract（参考訳）: 音声変換は、元の音声コンテンツを保存しながら、ターゲット話者に類似するようにソース話者の声を変更することを目的としている。
近年の音声変換の顕著な進歩にもかかわらず、多言語音声変換(モノリンガルとクロスリンガルの両方のシナリオを含む)はまだ広く研究されていない。
主な課題は2つある。
1)韻律的・調音的習慣の言語間での相当な変動
2) 同一話者からの対の多言語データセットの希少性について検討した。
本稿では,音色のみを変換する新しい音声変換システムであるMulliVCを提案する。
特に、MulliVCの各トレーニングステップは、3つの段階を含む: ステップ1では、モデルは単言語音声データで訓練され、ステップ2と3は、後続翻訳からインスピレーションを得て、同じ話者からの多言語データがない場合に、音色と他の情報(コンテンツ、韻律、その他の言語関連情報)をアンタングルする循環プロセスを構築する。
目的と主観の両方の結果から,MulliVCは単言語および言語横断の文脈において他の手法をはるかに上回り,システムの有効性とサイクル整合性を伴う3段階アプローチの実現可能性を示している。
オーディオサンプルはデモページ(mullivc.github.io)で確認できます。
関連論文リスト
- TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。
本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。
フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-05-28T04:11:37Z) - Cross-lingual Knowledge Distillation via Flow-based Voice Conversion for
Robust Polyglot Text-To-Speech [6.243356997302935]
本稿では、上流音声変換(VC)モデルと下流音声合成(TTS)モデルを含む、言語間音声合成のためのフレームワークを提案する。
最初の2段階では、VCモデルを用いてターゲット話者の発話をターゲット話者の声に変換する。
第3段階では、変換されたデータは、対象言語における記録からの言語的特徴や持続時間と組み合わせられ、単一話者音響モデルの訓練に使用される。
論文 参考訳（メタデータ） (2023-09-15T09:03:14Z) - Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [53.72998363956454]
個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。
高品質な話者並列データの不足は、翻訳中にスタイル転送を学習する上での課題となる。
我々は、個別の自己教師付き音声表現と音色単位に基づいて、スタイル変換機能を備えたS2STパイプラインを設計する。
論文 参考訳（メタデータ） (2023-09-14T09:52:08Z) - Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。
音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。
提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
論文 参考訳（メタデータ） (2023-08-03T15:47:04Z) - Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。
我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。
1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文 参考訳（メタデータ） (2023-03-14T17:05:08Z) - ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual
Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。
本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。
本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-07T13:35:16Z) - Latent linguistic embedding for cross-lingual text-to-speech and voice
conversion [44.700803634034486]
言語間音声生成は、話者が話さない言語において、ターゲット話者の声で発話が生成されるシナリオである。
提案手法は, 話者類似度の高い多言語VCを生成するだけでなく, 余分なステップを踏むことなく, TTSをシームレスに利用できることを示す。
論文 参考訳（メタデータ） (2020-10-08T01:25:07Z) - Transfer Learning from Monolingual ASR to Transcription-free
Cross-lingual Voice Conversion [0.0]
言語間音声変換は、ソース話者とターゲット話者が異なる言語で話す間、同じ内容のターゲット音声を合成することを目的としたタスクである。
本稿では,モノリン言語ASRから言語間VCへの知識伝達に着目した。
外国語音声の書き起こしや言語固有の知識を必要とせず,言語間VCの対応に成功している。
論文 参考訳（メタデータ） (2020-09-30T13:44:35Z) - One Model, Many Languages: Meta-learning for Multilingual Text-to-Speech [3.42658286826597]
本稿では,文脈パラメータ生成のメタラーニング概念を用いた多言語音声合成手法を提案する。
本モデルでは,言語間で効率的に情報を共有できることが示され,主観的評価テストにより,ベースラインよりも自然な,正確なコードスイッチング音声を生成する。
論文 参考訳（メタデータ） (2020-08-03T10:43:30Z) - Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario [10.779568857641928]
本稿では,多言語話者音声合成を実現するために,Tacotron2の拡張を提案する。
我々は、単言語話者のための英語とマンダリンの間で、コードスイッチングを含む言語間合成を実現する。
論文 参考訳（メタデータ） (2020-05-21T03:03:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。