論文の概要: VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers

• arxiv url: http://arxiv.org/abs/2406.05370v1
• Date: Sat, 8 Jun 2024 06:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 20:04:51.638111
• Title: VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers
• Title（参考訳）: VALL-E 2:ニューラルコーデック言語モデルは、音声合成のための人間のパーティゼロショットテキストである
• Authors: Sanyuan Chen, Shujie Liu, Long Zhou, Yanqing Liu, Xu Tan, Jinyu Li, Sheng Zhao, Yao Qian, Furu Wei,
• Abstract要約: 本稿では,ゼロショット音声合成(TTS)における節目となる,ニューラルネットワークモデルの最新の進歩であるVALL-E 2を紹介する。 VALL-E 2は、その複雑さや反復句によって伝統的に困難な文であっても、高品質な音声を一貫して合成する。
• 参考スコア（独自算出の注目度）: 119.89284877061779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces VALL-E 2, the latest advancement in neural codec language models that marks a milestone in zero-shot text-to-speech synthesis (TTS), achieving human parity for the first time. Based on its predecessor, VALL-E, the new iteration introduces two significant enhancements: Repetition Aware Sampling refines the original nucleus sampling process by accounting for token repetition in the decoding history. It not only stabilizes the decoding but also circumvents the infinite loop issue. Grouped Code Modeling organizes codec codes into groups to effectively shorten the sequence length, which not only boosts inference speed but also addresses the challenges of long sequence modeling. Our experiments on the LibriSpeech and VCTK datasets show that VALL-E 2 surpasses previous systems in speech robustness, naturalness, and speaker similarity. It is the first of its kind to reach human parity on these benchmarks. Moreover, VALL-E 2 consistently synthesizes high-quality speech, even for sentences that are traditionally challenging due to their complexity or repetitive phrases. The advantages of this work could contribute to valuable endeavors, such as generating speech for individuals with aphasia or people with amyotrophic lateral sclerosis. Demos of VALL-E 2 will be posted to https://aka.ms/valle2.
• Abstract（参考訳）: 本稿では,ゼロショット音声合成(TTS)における節目となる,ニューラルコーデック言語モデルの最新の進歩であるVALL-E 2を紹介する。 繰り返し認識サンプリング(Repetition Aware Smpling)は、デコード履歴におけるトークンの繰り返しを考慮して、元の核サンプリングプロセスを洗練する。 復号化を安定化するだけでなく、無限ループ問題を回避している。 Grouped Code Modelingは、コーデックコードをグループに編成してシーケンス長を効果的に短縮する。 LibriSpeech と VCTK を用いた実験により,VALL-E 2 は音声の頑健性,自然性,話者の類似性において,従来のシステムを上回っていることがわかった。 この種のベンチマークで人間と同等に到達したのは、これが初めてのことだ。 さらに、VALL-E 2は、その複雑さや繰り返し句によって伝統的に困難な文であっても、高品質な音声を一貫して合成する。 この研究の利点は、失語症のある人や筋萎縮性側索硬化症を持つ人のためのスピーチを生成するなど、貴重な努力に寄与する可能性がある。 VALL-E 2のデモはhttps://aka.ms/valle2.comに投稿される。

関連論文リスト

• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Any Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• RALL-E: Robust Codec Language Modeling with Chain-of-Thought Prompting for Text-to-Speech Synthesis [84.57932472551889]
  RALL-Eは、音声合成のための堅牢な言語モデリング手法である。 RALL-Eは、ゼロショットTSのWERを、それぞれ5.6%$(リランクなし)から2.5%$と1.0%$に改善した。
  論文  参考訳（メタデータ） (2024-04-04T05:15:07Z)
• ELLA-V: Stable Neural Codec Language Modeling with Alignment-guided Sequence Reordering [9.646664943647208]
  ELLA-Vは音声合成音声の音素レベルでのきめ細かい制御を可能にするテキスト音声合成フレームワークである。 我々のモデルは精度でVALL-Eより優れており、より安定した結果が得られる。
  論文  参考訳（メタデータ） (2024-01-14T17:43:55Z)
• NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers [90.83782600932567]
  残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。 本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。 NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
  論文  参考訳（メタデータ） (2023-04-18T16:31:59Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。