論文の概要: Fast and High-Quality Auto-Regressive Speech Synthesis via Speculative Decoding

• arxiv url: http://arxiv.org/abs/2410.21951v1
• Date: Tue, 29 Oct 2024 11:12:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:13.076660
• Title: Fast and High-Quality Auto-Regressive Speech Synthesis via Speculative Decoding
• Title（参考訳）: 投機的復号化による高速かつ高品質自動回帰音声合成
• Authors: Bohan Li, Hankun Wang, Situo Zhang, Yiwei Guo, Kai Yu,
• Abstract要約: VADUSAは投機的復号化によって自動回帰TTSを高速化する最初のアプローチの一つである。 以上の結果から,VADUSAは推論速度を大幅に向上するだけでなく,将来的な音声コンテンツを自動回帰的に予測するためにドラフトヘッドを組み込むことにより,性能の向上を図っている。
• 参考スコア（独自算出の注目度）: 11.128340782271305
• License:
• Abstract: The auto-regressive architecture, like GPTs, is widely used in modern Text-to-Speech (TTS) systems. However, it incurs substantial inference time, particularly due to the challenges in the next-token prediction posed by lengthy sequences of speech tokens. In this work, we introduce VADUSA, one of the first approaches to accelerate auto-regressive TTS through speculative decoding. Our results show that VADUSA not only significantly improves inference speed but also enhances performance by incorporating draft heads to predict future speech content auto-regressively. Furthermore, the inclusion of a tolerance mechanism during sampling accelerates inference without compromising quality. Our approach demonstrates strong generalization across large datasets and various types of speech tokens.
• Abstract（参考訳）: GPTのような自動回帰アーキテクチャは、現代のテキスト音声(TTS)システムで広く使われている。 しかし、特に音声トークンの長いシーケンスによって引き起こされる次のトーケン予測の課題のために、かなりの推測時間が生じる。 本稿では、投機的復号化による自動回帰TSを高速化するための最初のアプローチの一つであるVADUSAを紹介する。 以上の結果から,VADUSAは推論速度を大幅に向上するだけでなく,将来的な音声コンテンツを自動回帰的に予測するためにドラフトヘッドを組み込むことにより,性能の向上を図っている。 さらに、サンプリング中に許容機構を組み込むことは、品質を損なうことなく推論を加速させる。 提案手法は,大規模データセットや各種音声トークンにまたがる強力な一般化を示す。

関連論文リスト

• SimpleSpeech 2: Towards Simple and Efficient Text-to-Speech with Flow-based Scalar Latent Transformer Diffusion Models [64.40250409933752]
  我々は、SimpleSpeech 2.0と呼ばれるシンプルで効率的な非自己回帰(NAR)TSフレームワークを実装することで、過去の出版物の上に構築した。 SimpleSpeech 2は、自己回帰(AR)法と非自己回帰(NAR)法の両方の長所を効果的に組み合わせている。 我々は,従来の作業と他の大規模TSモデル(SOTA)と比較して,生成性能と生成速度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-25T17:07:39Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• Incremental FastPitch: Chunk-based High Quality Text to Speech [0.7366405857677227]
  Incrmental FastPitchは高品質なメルチャンクをインクリメンタルに生成できる新しいFastPitch変種である。 実験の結果,提案手法は並列FastPitchに匹敵する音声品質が得られることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T14:17:35Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems [31.18865184576272]
  この作業は、音声の埋め込みとBERTの埋め込みをトークン単位で整列させる、ずっと効率的できめ細かな方法で、これを行うためのステップです。 音声エンコーダからトークンレベルのコンテキスト埋め込みを抽出するために,クロスモーダルアテンション機構を用いた,シンプルながら斬新な手法を提案する。 音声を用いて意図認識を行うための事前訓練モデルの微調整により、2つの広く使用されているSLUデータセット上での最先端の性能が直接得られる。
  論文  参考訳（メタデータ） (2022-04-11T15:24:25Z)
• Semi-Autoregressive Image Captioning [153.9658053662605]
  画像キャプションに対する現在の最先端のアプローチは、通常自己回帰的手法を採用する。 連続的反復改善による非自己回帰画像キャプションは、かなりの加速を伴う自己回帰画像キャプションに匹敵する性能が得られる。 本稿では,性能と速度のトレードオフを改善するために,SAIC(Semi-Autoregressive Image Captioning)と呼ばれる新しい2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:11:54Z)
• STYLER: Style Modeling with Rapidity and Robustness via SpeechDecomposition for Expressive and Controllable Neural Text to Speech [2.622482339911829]
  STYLERは並列化アーキテクチャを持つ新しい表現型テキスト音声合成モデルである。 提案手法は, 雑音を伝達することなく, ドメイン逆学習と残余復号化を併用した音声からのノイズモデリング手法である。
  論文  参考訳（メタデータ） (2021-03-17T07:11:09Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。