論文の概要: Lightweight End-to-end Text-to-speech Synthesis for low resource on-device applications

• arxiv url: http://arxiv.org/abs/2505.07701v1
• Date: Mon, 12 May 2025 16:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.473801
• Title: Lightweight End-to-end Text-to-speech Synthesis for low resource on-device applications
• Title（参考訳）: 低リソースオンデバイスアプリケーションのための軽量エンドツーエンドテキスト音声合成
• Authors: Biel Tura Vecino, Adam Gabryś, Daniel Mątwicki, Andrzej Pomirski, Tom Iddon, Marius Cotescu, Jaime Lorenzo-Trueba,
• Abstract要約: 本稿では,最小限の計算資源を必要とする高品質な音声を生成する軽量E2E-TTS(LE2E)モデルを提案する。 提案したモデルをLJSpeechデータセット上で評価し,最先端の性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 6.352123329678895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have shown that modelling raw waveform directly from text in an end-to-end (E2E) fashion produces more natural-sounding speech than traditional neural text-to-speech (TTS) systems based on a cascade or two-stage approach. However, current E2E state-of-the-art models are computationally complex and memory-consuming, making them unsuitable for real-time offline on-device applications in low-resource scenarios. To address this issue, we propose a Lightweight E2E-TTS (LE2E) model that generates high-quality speech requiring minimal computational resources. We evaluate the proposed model on the LJSpeech dataset and show that it achieves state-of-the-art performance while being up to $90\%$ smaller in terms of model parameters and $10\times$ faster in real-time-factor. Furthermore, we demonstrate that the proposed E2E training paradigm achieves better quality compared to an equivalent architecture trained in a two-stage approach. Our results suggest that LE2E is a promising approach for developing real-time, high quality, low-resource TTS applications for on-device applications.
• Abstract（参考訳）: 近年の研究では、エンド・ツー・エンド(E2E)方式でテキストから直接生波形をモデル化することで、カスケードや2段階アプローチに基づく従来のニューラルテキスト・トゥ・音声(TTS)システムよりも自然な音声が生成されることが示されている。 しかし、現在のE2Eステート・オブ・ザ・アートモデルは計算処理が複雑でメモリ消費がかかるため、低リソースシナリオにおけるリアルタイムオフラインオンデバイスアプリケーションには適さない。 この問題に対処するために、最小の計算資源を必要とする高品質な音声を生成する軽量E2E-TTS(LE2E)モデルを提案する。 提案したモデルをLJSpeechデータセット上で評価し,モデルパラメータで最大90\%,リアルタイムファクタで10\times$の精度で,最先端のパフォーマンスを実現することを示す。 さらに,提案したE2Eトレーニングパラダイムは,2段階のアプローチでトレーニングした等価アーキテクチャと比較して,優れた品質を実現することを示す。 この結果から,LE2Eはリアルタイム,高品質,低リソースのTTSアプリケーションを開発する上で有望なアプローチであることが示唆された。

関連論文リスト

• Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis [64.12708207721276]
  本稿では,AR と NAR を統一した新しい擬似自己回帰(PAR)言語モデリング手法を提案する。 PAR 上に構築した PALLE は 2 段階の TTS システムであり, PAR を初期生成に利用し, NAR を改良する。 実験では、LibriTTSでトレーニングされたPALLEが、大規模データでトレーニングされた最先端システムを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-04-14T16:03:21Z)
• SimpleSpeech 2: Towards Simple and Efficient Text-to-Speech with Flow-based Scalar Latent Transformer Diffusion Models [64.40250409933752]
  我々は、SimpleSpeech 2.0と呼ばれるシンプルで効率的な非自己回帰(NAR)TSフレームワークを実装することで、過去の出版物の上に構築した。 SimpleSpeech 2は、自己回帰(AR)法と非自己回帰(NAR)法の両方の長所を効果的に組み合わせている。 我々は,従来の作業と他の大規模TSモデル(SOTA)と比較して,生成性能と生成速度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-25T17:07:39Z)
• EM-TTS: Efficiently Trained Low-Resource Mongolian Lightweight Text-to-Speech [4.91849983180793]
  本稿では,深層畳み込みニューラルネットワークに基づくテキスト音声合成システムを提案する。 私たちのモデルは、Text2SpectrumとSSRNの2つのステージで構成されています。 実験の結果,合成音声の品質と自然性を確保しつつ,学習時間とパラメータを低減できることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T01:27:57Z)
• Pheme: Efficient and Conversational Speech Generation [52.34331755341856]
  我々は,コンパクトだが高性能な会話型TSモデルを提供するPhemeモデルシリーズを紹介する。 小規模の会話データで効率的にトレーニングでき、データ要求を10倍に削減できるが、自動回帰的TSモデルの品質にマッチする。
  論文  参考訳（メタデータ） (2024-01-05T14:47:20Z)
• Integrating Pre-Trained Speech and Language Models for End-to-End Speech Recognition [12.77573161345651]
  本稿では,E2E ASRのための事前学習された音声表現モデルと大規模言語モデル(LLM)を統合することを提案する。 提案モデルは,音響特徴抽出や音響・言語モデリングを含む,ASRプロセス全体の最適化を可能にする。
  論文  参考訳（メタデータ） (2023-12-06T18:34:42Z)
• Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
  我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。 提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T23:48:01Z)
• SynthASR: Unlocking Synthetic Data for Speech Recognition [15.292920497489925]
  そこで本研究では,ASRモデルトレーニングのためのデータが少ない,あるいは取得が困難なアプリケーションにおいて,合成音声をASRトレーニング(SynthASR)に活用することを提案する。 薬物名認識のための新しい応用のための社内データセットを用いて実験を行ったところ、合成音声を用いたASR RNN-Tモデルのトレーニングにより、新しいアプリケーションの認識性能が65%以上向上した。
  論文  参考訳（メタデータ） (2021-06-14T23:26:44Z)
• LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search [127.56834100382878]
  我々は、FastSpeechに基づくより軽量で効率的なTSモデルを自動的に設計するLightSpeechを提案する。 実験の結果,提案手法により検出されたモデルは,CPU上での15倍のモデル圧縮比と6.5倍の推論高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-02-08T07:45:06Z)
• Deliberation Model Based Two-Pass End-to-End Speech Recognition [52.45841282906516]
  非ストリーミングのリステン・アテン・アンド・スペル(LAS)モデルを用いて、ストリーム仮説を再スコアする2パスモデルが提案されている。 このモデルは、第一パスのテキスト仮説のみを使用する神経矯正モデルのクラスとは対照的に、音響学で仮説を再評価する。 双方向エンコーダを用いて、ファーストパス仮説からコンテキスト情報を抽出する。
  論文  参考訳（メタデータ） (2020-03-17T22:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。