論文の概要: ParrotTTS: Text-to-Speech synthesis by exploiting self-supervised
representations
- arxiv url: http://arxiv.org/abs/2303.01261v1
- Date: Wed, 1 Mar 2023 17:23:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 14:10:06.636755
- Title: ParrotTTS: Text-to-Speech synthesis by exploiting self-supervised
representations
- Title(参考訳): ParrotTTS:自己教師付き表現を利用した音声合成
- Authors: Saiteja Kosgi, Neil Kumar Shah, Vishal Tambrahalli, Neha Sherin,
Vineet Gandhi
- Abstract要約: テキスト音声合成システム (TTS) は, メロシンセサイザー (mel-synthesizers) としてモデル化された。
本稿では、自己教師付き学習(SSL)手法から借用した、ParrotTTSと呼ばれるTSモデリングの代替手法を提案する。
- 参考スコア(独自算出の注目度): 4.940647527770787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-speech (TTS) systems are modelled as mel-synthesizers followed by
speech-vocoders since the era of statistical TTS that is carried forward into
neural designs. We propose an alternative approach to TTS modelling referred to
as ParrotTTS borrowing from self-supervised learning (SSL) methods. ParrotTTS
takes a two-step approach by initially training a speech-to-speech model on
unlabelled data that is abundantly available, followed by a text-to-embedding
model that leverages speech with aligned transcriptions to extend it to TTS.
ParrotTTS achieves competitive mean opinion scores on naturalness compared to
traditional TTS models but significantly improves over the latter's data
efficiency of transcribed pairs and speaker adaptation without transcriptions.
This further paves the path to training TTS models on generically trained SSL
speech models.
- Abstract(参考訳): テキスト音声合成システム(TTS)は, 音声合成装置としてモデル化され, その後, 統計的TS時代以降, ニューラルデザインへと発展してきた。
本稿では、自己教師付き学習(SSL)手法から借用したParrotTTSと呼ばれるTSモデリングの代替手法を提案する。
ParrotTTSは、2段階のアプローチを採り、まずはラベリングされていないデータに対して音声から音声へのモデルを訓練し、続いてテキストから埋め込みのモデルで、音声を一致した書き起こしで TTS に拡張する。
ParrotTTSは、従来のTSモデルと比較して自然性に関する競争平均スコアを達成しているが、書き起こされたペアのデータ効率と書き起こしのない話者適応よりも大幅に向上している。
これにより、汎用的に訓練されたSSL音声モデル上でTSモデルをトレーニングする道が開ける。
関連論文リスト
- AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳(メタデータ) (2023-06-22T14:37:54Z) - Textless Low-Resource Speech-to-Speech Translation With Unit Language
Models [56.1058530241461]
本稿では,テキストレス低音源音声合成システム(S2ST)を学習するための新しいフレームワークを提案する。
我々はS2STを単位から単位へのセク2セク翻訳タスクとして微調整し、大規模単言語音声データに対する事前学習から始める。
3つのドメインで英語、ドイツ語、マラティー語、英語の翻訳をトレーニングし、評価する。
論文 参考訳(メタデータ) (2023-05-24T17:59:05Z) - MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low
Resource Setting [16.37243395952266]
MParrotTTSは、TTS合成モデルである。
最小限の教師付きデータを持つ新しい言語に適応し、自己教師付きバックボーンのトレーニング中に見えない言語に一般化する。
音声の自然度と話者類似度を並列・言語間合成における6言語について検討した。
論文 参考訳(メタデータ) (2023-05-19T13:43:36Z) - Multilingual Multiaccented Multispeaker TTS with RADTTS [21.234787964238645]
RADTTSに基づく多言語・多言語・多話者音声合成モデルを提案する。
7つのアクセントからなるオープンソースデータセットにおいて、任意の話者に対して合成アクセントを制御する能力を示す。
論文 参考訳(メタデータ) (2023-01-24T22:39:04Z) - ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual
Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。
本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。
本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-07T13:35:16Z) - Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised
Learning for Text-To-Speech [37.942466944970704]
本稿では,テキスト音声合成(TTS)モデルのための多言語共同学習フレームワークであるVirtuosoを提案する。
様々な音声およびテキストデータからTSモデルをトレーニングするために、教師なし(TTSおよびASRデータ)と教師なし(非教師なし)のデータセットを扱うように、異なるトレーニングスキームが設計されている。
実験により、Virtuosoで訓練された多言語TSモデルは、見かけの言語におけるベースラインモデルよりも、自然性や知性に優れることが示された。
論文 参考訳(メタデータ) (2022-10-27T14:09:48Z) - ASR data augmentation in low-resource settings using cross-lingual
multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。
対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文 参考訳(メタデータ) (2022-03-29T11:55:30Z) - Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。
マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
論文 参考訳(メタデータ) (2021-12-15T18:56:35Z) - Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario [10.779568857641928]
本稿では,多言語話者音声合成を実現するために,Tacotron2の拡張を提案する。
我々は、単言語話者のための英語とマンダリンの間で、コードスイッチングを含む言語間合成を実現する。
論文 参考訳(メタデータ) (2020-05-21T03:03:34Z) - Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis
Using Discrete Speech Representation [125.59372403631006]
マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。
マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。
提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
論文 参考訳(メタデータ) (2020-05-16T15:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。