論文の概要: A multi-speaker multi-lingual voice cloning system based on vits2 for limmits 2024 challenge

• arxiv url: http://arxiv.org/abs/2406.17801v1
• Date: Sat, 22 Jun 2024 10:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 17:46:26.711249
• Title: A multi-speaker multi-lingual voice cloning system based on vits2 for limmits 2024 challenge
• Title（参考訳）: ビッツ2に基づくマルチスピーカ多言語音声クローニングシステム
• Authors: Xiaopeng Wang, Yi Lu, Xin Qi, Zhiyong Wang, Yuankun Xie, Shuchen Shi, Ruibo Fu,
• Abstract要約: この課題は,音声クローニング機能を備えた多言語多言語Indic Text-to-Speechシステムの構築である。 このシステムは、課題データを用いて訓練され、ターゲットスピーカー上で数発の音声クローンを行うための微調整が行われた。
• 参考スコア（独自算出の注目度）: 16.813582262700415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the development of a speech synthesis system for the LIMMITS'24 Challenge, focusing primarily on Track 2. The objective of the challenge is to establish a multi-speaker, multi-lingual Indic Text-to-Speech system with voice cloning capabilities, covering seven Indian languages with both male and female speakers. The system was trained using challenge data and fine-tuned for few-shot voice cloning on target speakers. Evaluation included both mono-lingual and cross-lingual synthesis across all seven languages, with subjective tests assessing naturalness and speaker similarity. Our system uses the VITS2 architecture, augmented with a multi-lingual ID and a BERT model to enhance contextual language comprehension. In Track 1, where no additional data usage was permitted, our model achieved a Speaker Similarity score of 4.02. In Track 2, which allowed the use of extra data, it attained a Speaker Similarity score of 4.17.
• Abstract（参考訳）: 本稿では,トラック2を中心に,LIMMITS'24チャレンジのための音声合成システムの開発について述べる。 この課題の目的は、男性と女性の両方の話者で7つのインド語をカバーし、音声クローニング機能を備えた多言語多言語Indic Text-to-Speechシステムを確立することである。 このシステムは、課題データを用いて訓練され、ターゲットスピーカー上で数発の音声クローンを行うための微調整が行われた。 評価には、自然性および話者類似性を評価する主観的テストを含む、7言語すべてにわたる単言語合成と多言語合成の両方が含まれていた。 本システムは,多言語IDとBERTモデルで拡張したVITS2アーキテクチャを用いて,文脈言語理解を強化する。 追加のデータ使用が許可されていないトラック1では、私たちのモデルは話者類似度スコア4.02を達成しました。 追加データの使用を可能にするトラック2では、話者類似度スコアが4.17に達した。

関連論文リスト

• MulliVC: Multi-lingual Voice Conversion With Cycle Consistency [75.59590240034261]
  MulliVCは、音色のみを変換し、多言語ペアリングデータなしでオリジナルコンテンツとソースコードの韻律を保持する新しい音声変換システムである。 目的と主観の両方の結果から,MulliVCはモノリンガルとクロスリンガルの両方の文脈において,他の手法をはるかに上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-08-08T18:12:51Z)
• Multilingual Multiaccented Multispeaker TTS with RADTTS [21.234787964238645]
  RADTTSに基づく多言語・多言語・多話者音声合成モデルを提案する。 7つのアクセントからなるオープンソースデータセットにおいて、任意の話者に対して合成アクセントを制御する能力を示す。
  論文  参考訳（メタデータ） (2023-01-24T22:39:04Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
  提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。 対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
  論文  参考訳（メタデータ） (2022-03-29T11:55:30Z)
• Cross-lingual Low Resource Speaker Adaptation Using Phonological Features [2.8080708404213373]
  我々は、異なる言語に共通する音韻的特徴のセットに基づいて、言語に依存しないマルチスピーカモデルを訓練する。 対象話者データの32と8の発声で、対応する文献に匹敵する高い話者類似度スコアと自然性を得る。
  論文  参考訳（メタデータ） (2021-11-17T12:33:42Z)
• Improve Cross-lingual Voice Cloning Using Low-quality Code-switched Data [11.18504333789534]
  そこで本研究では,非対象話者からの低品質なコード切替データを用いて,対象話者に対する言語間音声のクローニングを実現することを提案する。 実験により,提案手法は,自然性と話者の整合性の両面から,目標音声における高品質なコードスイッチ音声を生成することができることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T08:16:06Z)
• Combining speakers of multiple languages to improve quality of neural voices [21.417373542428617]
  15の異なる地域をまたいだ8言語で30人の話者を用いた大規模実験の結果を報告する。 言語間の合成において、平均して生成された品質は、平均的なオピニオンスコアの観点から、ネイティブな単一話者モデルの80%ドル以内である。
  論文  参考訳（メタデータ） (2021-08-17T16:14:13Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。