論文の概要: Investigating on Incorporating Pretrained and Learnable Speaker
Representations for Multi-Speaker Multi-Style Text-to-Speech
- arxiv url: http://arxiv.org/abs/2103.04088v2
- Date: Wed, 10 Mar 2021 04:07:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 12:44:57.564751
- Title: Investigating on Incorporating Pretrained and Learnable Speaker
Representations for Multi-Speaker Multi-Style Text-to-Speech
- Title（参考訳）: マルチスピーカマルチスタイルテキストから音声へのプリトレーニングと学習可能な話者表現の組み入れに関する研究
- Authors: Chung-Ming Chien, Jheng-Hao Lin, Chien-yu Huang, Po-chun Hsu, Hung-yi
Lee
- Abstract要約: 本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。
FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
- 参考スコア（独自算出の注目度）: 54.75722224061665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The few-shot multi-speaker multi-style voice cloning task is to synthesize
utterances with voice and speaking style similar to a reference speaker given
only a few reference samples. In this work, we investigate different speaker
representations and proposed to integrate pretrained and learnable speaker
representations. Among different types of embeddings, the embedding pretrained
by voice conversion achieves the best performance. The FastSpeech 2 model
combined with both pretrained and learnable speaker representations shows great
generalization ability on few-shot speakers and achieved 2nd place in the
one-shot track of the ICASSP 2021 M2VoC challenge.
- Abstract（参考訳）: 数発のマルチスピーカーマルチスタイルの音声クローニングタスクは、いくつかの参照サンプルを与えられたリファレンススピーカーに似た音声とスピーキングスタイルで発話を合成することです。
本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。
様々な種類の組込みのうち、音声変換によって事前学習された組込みは最高の性能を達成する。
事前訓練された話者表現と学習可能な話者表現を組み合わせたFastSpeech 2モデルは、少数ショット話者に大きな一般化能力を示し、ICASSP 2021 M2VoCチャレンジの1ショットトラックで2位を獲得した。
関連論文リスト
- Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition [27.35304346509647]
話者ラベルを自己回帰変換器に基づく音声認識モデルに導入する。
次に、個々の話者の音声セグメントを検出するための新しい話者マスク分岐を提案する。
提案モデルでは,音声認識と話者ダイアリゼーションの両方を同時に行うことができる。
論文 参考訳（メタデータ） (2023-12-18T06:29:53Z) - End-to-End Single-Channel Speaker-Turn Aware Conversational Speech
Translation [23.895122319920997]
エンド・ツー・エンドおよびマルチタスク・トレーニングモデルを用いて、単一チャンネルのマルチ話者会話STに取り組む。
Speaker-Turn Aware Conversational Speech Translationは、音声認識、音声翻訳、話者のターン検出を組み合わせる。
本研究では,本モデルがマルチスピーカ条件で参照システムより優れ,単一スピーカ条件で同等の性能が得られることを示す。
論文 参考訳（メタデータ） (2023-11-01T17:55:09Z) - ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual
Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。
本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。
本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-07T13:35:16Z) - GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech
Synthesis [6.632254395574993]
GANSpeechは、非自己回帰型マルチスピーカTSモデルに対向訓練法を採用する高忠実度マルチスピーカTSモデルである。
主観的な聴取試験では、GANSpeechはベースラインのマルチスピーカーであるFastSpeechとFastSpeech2モデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2021-06-29T08:15:30Z) - Speaker Separation Using Speaker Inventories and Estimated Speech [78.57067876891253]
話者在庫(SSUSI)と推定音声(SSUES)を用いた話者分離を提案する。
置換不変訓練(PIT)と音声抽出の利点を組み合わせることで、SSUSIは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2020-10-20T18:15:45Z) - Filling the Gap of Utterance-aware and Speaker-aware Representation for
Multi-turn Dialogue [76.88174667929665]
マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。
既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。
本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-09-14T15:07:19Z) - Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis
Using Discrete Speech Representation [125.59372403631006]
マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。
マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。
提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
論文 参考訳（メタデータ） (2020-05-16T15:47:11Z) - Voice Separation with an Unknown Number of Multiple Speakers [113.91855071999298]
本稿では,複数の音声が同時に発声する混合音声系列を分離する手法を提案する。
新たな手法では、複数の処理ステップで音声を分離するように訓練されたゲートニューラルネットワークを使用し、各出力チャネルに固定された話者を維持する。
論文 参考訳（メタデータ） (2020-02-29T20:02:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。