Fugu-MT 論文翻訳(概要): Autoregressive Diffusion Transformer for Text-to-Speech Synthesis

論文の概要: Autoregressive Diffusion Transformer for Text-to-Speech Synthesis

arxiv url: http://arxiv.org/abs/2406.05551v1
Date: Sat, 8 Jun 2024 18:57:13 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 19:16:08.523620
Title: Autoregressive Diffusion Transformer for Text-to-Speech Synthesis
Title（参考訳）: テキスト音声合成のための自己回帰拡散変換器
Authors: Zhijun Liu, Shuai Wang, Sho Inoue, Qibing Bai, Haizhou Li,
Abstract要約: 連続空間$mathbb Rd$のベクトル列として音響を符号化し、これらの列を自己回帰的に生成する。高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。
参考スコア（独自算出の注目度）: 39.32761051774537
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Audio language models have recently emerged as a promising approach for various audio generation tasks, relying on audio tokenizers to encode waveforms into sequences of discrete symbols. Audio tokenization often poses a necessary compromise between code bitrate and reconstruction accuracy. When dealing with low-bitrate audio codes, language models are constrained to process only a subset of the information embedded in the audio, which in turn restricts their generative capabilities. To circumvent these issues, we propose encoding audio as vector sequences in continuous space $\mathbb R^d$ and autoregressively generating these sequences using a decoder-only diffusion transformer (ARDiT). Our findings indicate that ARDiT excels in zero-shot text-to-speech and exhibits performance that compares to or even surpasses that of state-of-the-art models. High-bitrate continuous speech representation enables almost flawless reconstruction, allowing our model to achieve nearly perfect speech editing. Our experiments reveal that employing Integral Kullback-Leibler (IKL) divergence for distillation at each autoregressive step significantly boosts the perceived quality of the samples. Simultaneously, it condenses the iterative sampling process of the diffusion model into a single step. Furthermore, ARDiT can be trained to predict several continuous vectors in one step, significantly reducing latency during sampling. Impressively, one of our models can generate $170$ ms of $24$ kHz speech per evaluation step with minimal degradation in performance. Audio samples are available at http://ardit-tts.github.io/ .
Abstract（参考訳）: 音声言語モデルは、様々な音声生成タスクにおいて、波形を離散シンボルのシーケンスにエンコードするために、音声トークン化器に依存する有望なアプローチとして最近登場した。オーディオトークン化は、しばしばコードビットレートと再構成の精度の間に必要な妥協をもたらす。低ビットレートのオーディオコードを扱う場合、言語モデルはオーディオに埋め込まれた情報のサブセットのみを処理するよう制約され、それによって生成能力が制限される。これらの問題を回避すべく、連続空間$\mathbb R^d$のベクトル列として音声を符号化し、デコーダのみの拡散変換器(ARDiT)を用いて自動回帰生成する手法を提案する。以上の結果から,ARDiTはゼロショットのテキスト音声よりも優れており,最先端のモデルと比較した場合,あるいはそれを上回る性能を示すことが示唆された。高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。実験の結果, 各自己回帰段階における蒸留におけるインテグレーショナル・コールバック・リーブラー (IKL) の拡散は, 試料の品質を著しく向上させることがわかった。同時に、拡散モデルの反復サンプリングプロセスを単一のステップに凝縮する。さらに、ARDiTは、複数の連続ベクトルを1ステップで予測するようにトレーニングすることができる。驚くべきことに、我々のモデルのうちの1つは、パフォーマンスの最小限の劣化を伴って、評価ステップ毎に170$msと24$kHzの音声を生成することができる。オーディオサンプルはhttp://ardit-tts.github.io/で公開されている。

関連論文リスト

VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
論文参考訳（メタデータ） (2024-06-12T04:09:44Z)
TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
論文参考訳（メタデータ） (2023-08-21T01:52:01Z)
From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-02T22:14:29Z)
AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文参考訳（メタデータ） (2022-09-30T10:17:05Z)
FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis [77.06890315052563]
我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
論文参考訳（メタデータ） (2022-07-08T10:10:39Z)
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
論文参考訳（メタデータ） (2021-11-09T09:07:30Z)
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition [16.082949461807335]
本稿では,Transformer-Transducerモデルアーキテクチャと,ストリーミングおよび非ストリーミング音声認識モデルを1つのモデルに統合するためのトレーニング手法を提案する。私たちは、このモデルを低レイテンシと高レイテンシモードで、上位層を並列に実行するYモデルアーキテクチャで実行できることを示します。これにより、レイテンシが制限されたストリーミング音声認識結果と、精度を大幅に向上した遅延音声認識結果が得られる。
論文参考訳（メタデータ） (2020-10-07T05:58:28Z)
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss [14.755108017449295]
本稿では,ストリーム音声認識システムで使用可能なTransformerエンコーダを用いたエンドツーエンド音声認識モデルを提案する。自己アテンションに基づくトランスフォーマー計算ブロックは、オーディオシーケンスとラベルシーケンスの両方を独立に符号化するために使用される。 We present results on the LibriSpeech dataset shows that limiting the left context for self-attention makes decodinglytractable for streaming。
論文参考訳（メタデータ） (2020-02-07T00:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。