論文の概要: TTS-Transducer: End-to-End Speech Synthesis with Neural Transducer

• arxiv url: http://arxiv.org/abs/2501.06320v1
• Date: Fri, 10 Jan 2025 19:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:08.500327
• Title: TTS-Transducer: End-to-End Speech Synthesis with Neural Transducer
• Title（参考訳）: TTS変換器:ニューラルトランスデューサを用いたエンドツーエンド音声合成
• Authors: Vladimir Bataev, Subhankar Ghosh, Vitaly Lavrukhin, Jason Li,
• Abstract要約: TTS-Transducerは、音声モデルとニューラルトランスデューサの強みを活用する、テキストから音声への新たなアーキテクチャである。 TTS-Transducerは,現代のTSシステムに代わる,競争力があり堅牢な代替手段であることを示す。
• 参考スコア（独自算出の注目度）: 6.1319363847980135
• License:
• Abstract: This work introduces TTS-Transducer - a novel architecture for text-to-speech, leveraging the strengths of audio codec models and neural transducers. Transducers, renowned for their superior quality and robustness in speech recognition, are employed to learn monotonic alignments and allow for avoiding using explicit duration predictors. Neural audio codecs efficiently compress audio into discrete codes, revealing the possibility of applying text modeling approaches to speech generation. However, the complexity of predicting multiple tokens per frame from several codebooks, as necessitated by audio codec models with residual quantizers, poses a significant challenge. The proposed system first uses a transducer architecture to learn monotonic alignments between tokenized text and speech codec tokens for the first codebook. Next, a non-autoregressive Transformer predicts the remaining codes using the alignment extracted from transducer loss. The proposed system is trained end-to-end. We show that TTS-Transducer is a competitive and robust alternative to contemporary TTS systems.
• Abstract（参考訳）: この研究は、音声コーデックモデルとニューラルトランスデューサの強みを活用する、テキストから音声への新たなアーキテクチャであるTS-Transducerを紹介する。 音声認識における優れた品質と堅牢さで有名であるトランスデューサは、単調アライメントを学習し、明示的な持続時間予測器の使用を避けるために使用される。 ニューラルオーディオコーデックは、音声を離散コードに効率よく圧縮し、音声生成にテキストモデリングアプローチを適用する可能性を明らかにする。 しかし、残量化器を持つオーディオコーデックモデルで必要とされるように、複数のコードブックからフレーム当たりの複数のトークンを予測する複雑さは、大きな課題となる。 提案システムはまずトランスデューサアーキテクチャを用いてトークン化されたテキストと最初のコードブックの音声コーデックトークンとのモノトニックなアライメントを学習する。 次に、非自己回帰変換器は、トランスデューサ損失から抽出したアライメントを用いて残りの符号を予測する。 提案システムはエンドツーエンドで訓練されている。 TTS-Transducerは,現代のTSシステムに代わる,競争力があり堅牢な代替手段であることを示す。

関連論文リスト

• Alignment-Free Training for Transducer-based Multi-Talker ASR [55.1234384771616]
  マルチストーカーRNNT(MT-RNNT)は、フロントエンドのソース分離を犠牲にすることなく、認識を実現することを目的としている。 本稿では,MT-RNNTアーキテクチャを採用したMT-RNNT(MT-RNNT-AFT)のアライメントフリートレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T13:58:11Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Improving Robustness of LLM-based Speech Synthesis by Learning Monotonic Alignment [19.48653924804823]
  大規模言語モデル (LLM) に基づくテキスト音声合成システム (TTS) は, 大規模音声データセットの処理や, 新しい話者に対する自然な音声生成において, 顕著な能力を示した。 しかし、LLMベースのTSモデルは、生成した出力が繰り返し単語、欠落した単語、不一致した音声を含むことができるため、堅牢ではない。 エンコーダ・デコーダ・トランスフォーマーモデルを用いてこれらの課題を検証し、与えられたテキストに対する音声トークンの予測訓練において、そのようなモデルにおける特定のクロスアテンションヘッドが暗黙的にテキストと音声アライメントを学習することを確認する。
  論文  参考訳（メタデータ） (2024-06-25T22:18:52Z)
• TVLT: Textless Vision-Language Transformer [89.31422264408002]
  テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。 TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。 その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T15:08:03Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• Advances in Speech Vocoding for Text-to-Speech with Continuous Parameters [2.6572330982240935]
  本稿では,連続的なボコーダにおいて,全ての特徴が連続的であり,フレキシブルな音声合成システムを示す新しい手法を提案する。 位相歪みに基づく新しい連続雑音マスキングを提案し,残音の知覚的影響を排除した。 双方向長短期記憶 (LSTM) とゲートリカレント単位 (GRU) について検討し, 連続パラメータのモデル化に応用した。
  論文  参考訳（メタデータ） (2021-06-19T12:05:01Z)
• Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders [30.160261563657947]
  エンドツーエンドの音声翻訳では、事前トレーニングが有望です。 Stackedを提案します。 音声翻訳のための音響・テキスト(SATE)法 エンコーダはアコースティックシーケンスを通常どおりに処理することから始まり、その後はアコースティックシーケンスのように振る舞う。 MTエンコーダは入力シーケンスのグローバル表現である。
  論文  参考訳（メタデータ） (2021-05-12T16:09:53Z)
• GraphSpeech: Syntax-Aware Graph Attention Network For Neural Speech Synthesis [79.1885389845874]
  Transformer-based end-to-end text-to-speech synthesis (TTS)は、このような実装の成功例の一つである。 本稿では,グラフニューラルネットワークフレームワークで定式化された新しいニューラルネットワークモデルであるGraphSpeechを提案する。 実験により、GraphSpeechは、発話のスペクトルと韻律レンダリングの点で、Transformer TTSベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2020-10-23T14:14:06Z)
• MultiSpeech: Multi-Speaker Text to Speech with Transformer [145.56725956639232]
  Transformer-based text to speech (TTS)モデル(Transformer TTSciteli 2019neural, FastSpeechciteren 2019fastspeech)は、RNNベースのモデルよりもトレーニングと推論効率の利点を示している。 我々はMultiSpeechと呼ばれる堅牢で高品質なマルチスピーカトランスフォーマーTSシステムを開発した。
  論文  参考訳（メタデータ） (2020-06-08T15:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。