論文の概要: SupertonicTTS: Towards Highly Scalable and Efficient Text-to-Speech System

• arxiv url: http://arxiv.org/abs/2503.23108v1
• Date: Sat, 29 Mar 2025 14:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:32:39.291408
• Title: SupertonicTTS: Towards Highly Scalable and Efficient Text-to-Speech System
• Title（参考訳）: SupertonicTTS:高度にスケーラブルで効率的なテキスト音声合成システムを目指して
• Authors: Hyeongju Kim, Jinhyeok Yang, Yechan Yu, Seunghun Ji, Jacob Morton, Frederik Bous, Joon Byun, Juheon Lee,
• Abstract要約: 音声合成におけるスケーラビリティと効率を向上させるために,新しい音声合成システムであるSupertonicTTSを提案する。 SupertonicTTSは3つのコンポーネントで構成されており、連続潜時表現のための音声オートエンコーダ、テキスト・トゥ・ラテント・モジュール、発話レベルの時間予測器である。
• 参考スコア（独自算出の注目度）: 10.506722096503038
• License:
• Abstract: We present a novel text-to-speech (TTS) system, namely SupertonicTTS, for improved scalability and efficiency in speech synthesis. SupertonicTTS is comprised of three components: a speech autoencoder for continuous latent representation, a text-to-latent module leveraging flow-matching for text-to-latent mapping, and an utterance-level duration predictor. To enable a lightweight architecture, we employ a low-dimensional latent space, temporal compression of latents, and ConvNeXt blocks. We further simplify the TTS pipeline by operating directly on raw character-level text and employing cross-attention for text-speech alignment, thus eliminating the need for grapheme-to-phoneme (G2P) modules and external aligners. In addition, we introduce context-sharing batch expansion that accelerates loss convergence and stabilizes text-speech alignment. Experimental results demonstrate that SupertonicTTS achieves competitive performance while significantly reducing architectural complexity and computational overhead compared to contemporary TTS models. Audio samples demonstrating the capabilities of SupertonicTTS are available at: https://supertonictts.github.io/.
• Abstract（参考訳）: 音声合成におけるスケーラビリティと効率を向上させるために,新しい音声合成システムであるSupertonicTTSを提案する。 SupertonicTTSは3つのコンポーネントで構成されており、連続潜時表現のための音声オートエンコーダ、テキスト・トゥ・レイト・マッピングのためのフローマッチングを利用したテキスト・トゥ・レイト・モジュール、発話レベルの持続時間予測器である。 軽量なアーキテクチャを実現するために、低次元の潜在空間、ラテントの時間圧縮、およびConvNeXtブロックを用いる。 さらに、生文字レベルのテキストを直接操作し、テキスト・音声のアライメントにクロスアテンションを用いることにより、TTSパイプラインをさらに単純化し、G2Pモジュールや外部アライメントの必要がなくなる。 さらに、損失収束を加速し、テキスト音声のアライメントを安定化するコンテキスト共有バッチ拡張を導入する。 実験結果から, SupertonicTTSは, 現在のTSモデルと比較して, アーキテクチャの複雑さと計算オーバーヘッドを著しく低減し, 競争性能が向上することが示された。 SupertonicTTSの機能を示すオーディオサンプルは、https://supertonictts.github.io/で公開されている。

関連論文リスト

• SimpleSpeech 2: Towards Simple and Efficient Text-to-Speech with Flow-based Scalar Latent Transformer Diffusion Models [64.40250409933752]
  我々は、SimpleSpeech 2.0と呼ばれるシンプルで効率的な非自己回帰(NAR)TSフレームワークを実装することで、過去の出版物の上に構築した。 SimpleSpeech 2は、自己回帰(AR)法と非自己回帰(NAR)法の両方の長所を効果的に組み合わせている。 我々は,従来の作業と他の大規模TSモデル(SOTA)と比較して,生成性能と生成速度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-25T17:07:39Z)
• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• Utilizing Neural Transducers for Two-Stage Text-to-Speech via Semantic Token Prediction [15.72317249204736]
  本稿では,ニューラルトランスデューサを中心とした新しいテキスト音声合成(TTS)フレームワークを提案する。 提案手法では,TSパイプライン全体をセマンティックレベルのシーケンス・ツー・シーケンス・モデリング(seq2seq)ときめ細かな音響モデルステージに分割する。 ゼロショット適応型TS実験の結果,音声品質と話者類似度の観点から,モデルがベースラインを超えていることが判明した。
  論文  参考訳（メタデータ） (2024-01-03T02:03:36Z)
• ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading [65.88161811719353]
  本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。 まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。 我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。 実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-03T06:55:03Z)
• A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
  我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。 最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。 近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T17:34:32Z)
• Incremental Speech Synthesis For Speech-To-Speech Translation [23.951060578077445]
  本稿では,TSモデルの逐次合成性能の向上に焦点をあてる。 プレフィックスに基づく単純なデータ拡張戦略により、インクリメンタルTS品質を改善してオフラインパフォーマンスにアプローチすることが可能になります。 本稿では,S2STアプリケーションに適したレイテンシメトリクスを提案し,このコンテキストにおける遅延低減手法について検討する。
  論文  参考訳（メタデータ） (2021-10-15T17:20:28Z)
• GraphSpeech: Syntax-Aware Graph Attention Network For Neural Speech Synthesis [79.1885389845874]
  Transformer-based end-to-end text-to-speech synthesis (TTS)は、このような実装の成功例の一つである。 本稿では,グラフニューラルネットワークフレームワークで定式化された新しいニューラルネットワークモデルであるGraphSpeechを提案する。 実験により、GraphSpeechは、発話のスペクトルと韻律レンダリングの点で、Transformer TTSベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2020-10-23T14:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。