論文の概要: PRESENT: Zero-Shot Text-to-Prosody Control
- arxiv url: http://arxiv.org/abs/2408.06827v1
- Date: Tue, 13 Aug 2024 11:39:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 17:36:36.957416
- Title: PRESENT: Zero-Shot Text-to-Prosody Control
- Title（参考訳）: PreSENT:zero-Shot Text-to-Prosody Control
- Authors: Perry Lam, Huayun Zhang, Nancy F. Chen, Berrak Sisman, Dorien Herremans,
- Abstract要約: PreSENT (Prosody Editing without Style Embeddings or New Training) は、FastSpeech2ベースのモデルにおいて、推論プロセスを直接修正することで明示的な韻律予測を利用する。
我々は、それぞれドイツ語、ハンガリー語、スペイン語の文字誤り率(CER)を12.8%、18.7%、および5.9%とし、3つの言語で前回のCERを2倍以上上回った。
- 参考スコア（独自算出の注目度）: 41.62954081589881
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current strategies for achieving fine-grained prosody control in speech synthesis entail extracting additional style embeddings or adopting more complex architectures. To enable zero-shot application of pretrained text-to-speech (TTS) models, we present PRESENT (PRosody Editing without Style Embeddings or New Training), which exploits explicit prosody prediction in FastSpeech2-based models by modifying the inference process directly. We apply our text-to-prosody framework to zero-shot language transfer using a JETS model exclusively trained on English LJSpeech data. We obtain character error rates (CER) of 12.8%, 18.7% and 5.9% for German, Hungarian and Spanish respectively, beating the previous state-of-the-art CER by over 2x for all three languages. Furthermore, we allow subphoneme-level control, a first in this field. To evaluate its effectiveness, we show that PRESENT can improve the prosody of questions, and use it to generate Mandarin, a tonal language where vowel pitch varies at subphoneme level. We attain 25.3% hanzi CER and 13.0% pinyin CER with the JETS model. All our code and audio samples are available online.
- Abstract（参考訳）: 音声合成における微細な韻律制御を実現するための現在の戦略は、追加のスタイル埋め込みを抽出することや、より複雑なアーキテクチャを採用することを必要とする。
事前訓練されたテキスト・トゥ・音声(TTS)モデルのゼロショット適用を可能にするため,FastSpeech2 ベースのモデルにおいて,推論プロセスを直接修正することで,明示的な韻律予測を利用する PreSENT (Prosody Editing without Style Embeddings or New Training) を提案する。
英語LJSpeechデータにのみ訓練されたJETSモデルを用いて,テキストと韻律のフレームワークをゼロショット言語転送に適用する。
我々は、それぞれドイツ語、ハンガリー語、スペイン語の文字誤り率(CER)を12.8%、18.7%、および5.9%とし、3つの言語で前回のCERを2倍以上上回った。
さらに,音素レベルの制御も可能で,この分野では初となる。
その効果を評価するために,PreSENTは質問の韻律を改良し,母音のピッチがサブ音素レベルで変化する音節言語であるMandarinを生成する。
JETSモデルで25.3%のハンジCERと13.0%のピンジンCERを得る。
コードとオーディオのサンプルはすべてオンラインで入手できます。
関連論文リスト
- Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition [26.693942793501204]
エンドツーエンド自動音声キーワード認識(SKR)のための新しい言語・ユニバーサルアプローチを提案する。
Wav2Vec2.0はロバストな音声表現を生成するために使われ、続いて線形出力層が属性列を生成する。
訓練不能な発音モデルでは、属性のシーケンスを多言語設定で音声キーワードにマッピングする。
論文 参考訳（メタデータ） (2024-06-04T16:59:11Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳（メタデータ） (2024-02-01T14:46:35Z) - Cross-lingual Knowledge Distillation via Flow-based Voice Conversion for
Robust Polyglot Text-To-Speech [6.243356997302935]
本稿では、上流音声変換(VC)モデルと下流音声合成(TTS)モデルを含む、言語間音声合成のためのフレームワークを提案する。
最初の2段階では、VCモデルを用いてターゲット話者の発話をターゲット話者の声に変換する。
第3段階では、変換されたデータは、対象言語における記録からの言語的特徴や持続時間と組み合わせられ、単一話者音響モデルの訓練に使用される。
論文 参考訳（メタデータ） (2023-09-15T09:03:14Z) - Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。
まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。
実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
論文 参考訳（メタデータ） (2023-03-20T09:13:27Z) - Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with
Unsupervised Text Pretraining [65.30528567491984]
本稿では,対象言語に対するテキストのみのデータを用いたゼロショット多言語TS法を提案する。
テキストのみのデータを使用することで、低リソース言語向けのTSシステムの開発が可能になる。
評価の結果,文字誤り率が12%未満のゼロショットTSは,見当たらない言語では高い知能性を示した。
論文 参考訳（メタデータ） (2023-01-30T00:53:50Z) - BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。
Transformerに基づいて、いくつかの有効な変種を適用します。
本システムでは,0.810と0.946のCOMETスコアを達成している。
論文 参考訳（メタデータ） (2022-11-28T02:35:04Z) - Revisiting End-to-End Speech-to-Text Translation From Scratch [48.203394370942505]
E2E (End-to-end speech-to-text translation) はしばしば、音声認識やテキスト翻訳タスクを通じて、そのエンコーダおよび/またはデコーダをソース転写を用いて事前訓練することに依存する。
本稿では,音声翻訳対だけで訓練したE2E STの品質をどの程度改善できるかを考察する。
論文 参考訳（メタデータ） (2022-06-09T15:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。