論文の概要: Cross-Lingual Text-to-Speech Using Multi-Task Learning and Speaker Classifier Joint Training

• arxiv url: http://arxiv.org/abs/2201.08124v1
• Date: Thu, 20 Jan 2022 12:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 14:54:14.083886
• Title: Cross-Lingual Text-to-Speech Using Multi-Task Learning and Speaker Classifier Joint Training
• Title（参考訳）: マルチタスク学習と話者分類合同学習を用いた言語間音声合成
• Authors: J. Yang and Lei He
• Abstract要約: 言語間音声合成では、モノグロット話者に対して様々な言語の音声を合成することができる。 本稿では,言語間話者類似性を改善するためのマルチタスク学習フレームワークについて検討する。
• 参考スコア（独自算出の注目度）: 6.256271702518489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In cross-lingual speech synthesis, the speech in various languages can be synthesized for a monoglot speaker. Normally, only the data of monoglot speakers are available for model training, thus the speaker similarity is relatively low between the synthesized cross-lingual speech and the native language recordings. Based on the multilingual transformer text-to-speech model, this paper studies a multi-task learning framework to improve the cross-lingual speaker similarity. To further improve the speaker similarity, joint training with a speaker classifier is proposed. Here, a scheme similar to parallel scheduled sampling is proposed to train the transformer model efficiently to avoid breaking the parallel training mechanism when introducing joint training. By using multi-task learning and speaker classifier joint training, in subjective and objective evaluations, the cross-lingual speaker similarity can be consistently improved for both the seen and unseen speakers in the training set.
• Abstract（参考訳）: 言語間音声合成では、モノグロット話者に対して様々な言語の音声を合成することができる。 通常、単言語話者のデータのみがモデルの訓練に利用できるため、合成された言語間音声と母語録音との話者類似性は比較的低い。 本稿では,多言語トランスフォーマのテキスト対音声モデルに基づき,多言語話者の類似性を改善するためのマルチタスク学習フレームワークについて検討する。 話者類似性をさらに向上するため,話者分類器を用いた共同訓練を提案する。 本報告では, 同時学習導入時の並列トレーニング機構の破断を回避するために, 並列スケジュールサンプリングと類似した手法を提案する。 マルチタスク学習と話者分類器ジョイントトレーニングを用いて、主観的および客観的評価において、トレーニングセット内の見知らぬ話者と見知らぬ話者の両方に対して、言語間話者類似性を一貫して改善することができる。

関連論文リスト

• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting [16.37243395952266]
  MParrotTTSは、TTS合成モデルである。 最小限の教師付きデータを持つ新しい言語に適応し、自己教師付きバックボーンのトレーニング中に見えない言語に一般化する。 音声の自然度と話者類似度を並列・言語間合成における6言語について検討した。
  論文  参考訳（メタデータ） (2023-05-19T13:43:36Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition [31.575930914290762]
  言語間音響-音声の類似性を調べるために, 新たなデータ駆動手法を提案する。 ディープニューラルネットワークは、異なる音響モデルからの分布を直接的に同等の形式に変換するためのマッピングネットワークとして訓練されている。 モノリンガルに比べて8%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2022-07-07T15:55:41Z)
• Improving Cross-lingual Speech Synthesis with Triplet Training Scheme [5.470211567548067]
  言語間の発音を高めるために, トリプルト学習法を提案する。 提案手法は、合成した言語間音声の可知性と自然性の両方に顕著な改善をもたらす。
  論文  参考訳（メタデータ） (2022-02-22T08:40:43Z)
• Cross-lingual Low Resource Speaker Adaptation Using Phonological Features [2.8080708404213373]
  我々は、異なる言語に共通する音韻的特徴のセットに基づいて、言語に依存しないマルチスピーカモデルを訓練する。 対象話者データの32と8の発声で、対応する文献に匹敵する高い話者類似度スコアと自然性を得る。
  論文  参考訳（メタデータ） (2021-11-17T12:33:42Z)
• Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech [62.95422526044178]
  マルチスピーカTSモデルのトレーニングアルゴリズムとして,MAML(Model Agnostic Meta-Learning)を用いる。 その結果,Meta-TTSは話者適応ベースラインよりも適応ステップが少ない少数のサンプルから高い話者類似性音声を合成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-07T09:53:31Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。