論文の概要: Training a Compact, Strong, and Realistic Text-to-Speech Model
- arxiv url: http://arxiv.org/abs/2610.14776v1
- Date: Sat, 10 Oct 2026 09:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.103525
- Title: Training a Compact, Strong, and Realistic Text-to-Speech Model
- Title（参考訳）: コンパクトで強力でリアルなテキスト音声合成モデルの訓練
- Abstract要約: 本稿では,ゼロショット音声クローニングのためのコンパクトモデルであるAudio8-TTSについて述べる。
トレーニング信号を信号レベルの忠実さよりも人間の知覚に合わせるために,広く使用されているオープンソースTSシステムから高品質なラグを構築する。
- 参考スコア（独自算出の注目度）: 9.538470992436883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-speech (TTS) systems are conventionally optimized for intelligibility and speaker similarity. However, neither objective captures the prosodic detail that distinguishes human performances from synthetic speech, leaving a realism gap that larger models and higher-quality data can narrow but not close. In the absence of an objective that directly targets this gap, realism remains a persistent challenge in TTS. We present Audio8-TTS, a compact 0.6B-parameter model for zero-shot voice cloning that achieves state-of-the-art performance in intelligibility and speaker similarity, with particularly strong results in perceptual naturalness. To align the training signal with human perception rather than signal-level fidelity, we construct a quality ladder from widely used open-source TTS systems and train a realism critic to assess generated speech against matched human recordings of the same sentences. An identity-erasure objective discourages the critic from relying on generator fingerprints. We train the model in three stages: multilingual supervised fine-tuning; group relative policy optimization (GRPO) with word error rate (WER) and speaker similarity (SIM) rewards; and GRPO guided by the realism critic. The final stage improves perceived prosodic naturalness and speaker similarity while preserving WER performance.
- Abstract（参考訳）: テキスト音声合成システム(TTS)は、従来、知性や話者の類似性に最適化されている。
しかし、どちらの目的も、人間のパフォーマンスと合成音声を区別する韻律的詳細を捉えておらず、より大きなモデルと高品質なデータが狭くても近づかないという現実主義的なギャップを残している。
このギャップを直接対象とする目標が存在しないため、現実主義はTSにおいて永続的な課題である。
本稿では,ゼロショット音声クローニングのための0.6BパラメータモデルであるAudio8-TTSについて述べる。
トレーニング信号を信号レベルの忠実さよりも人間の知覚と整合させるため、広く使われているオープンソースTSシステムから高品質なラグを構築し、リアリズム評論家を訓練し、同じ文の一致した人間の記録に対して生成された音声を評価する。
個人認証の対象は、批判者がジェネレータ指紋に頼ることを妨げている。
我々は,多言語による教師付き微調整,単語誤り率 (WER) と話者類似度 (SIM) を考慮したグループ相対ポリシー最適化 (GRPO) ,リアリズム評論家によるGRPOの3段階でモデルを訓練する。
最終段階は、WER性能を維持しながら、知覚された韻律的自然さと話者類似性を改善する。
関連論文リスト
- CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
CuteTTSはコンパクトな連続自己回帰型TSシステムである。
意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
論文 参考訳（メタデータ） (2026-08-09T11:10:20Z) - MimicLM: Zero-Shot Voice Imitation through Autoregressive Modeling of Pseudo-Parallel Speech Corpora [24.886364035559907]
本研究では, 音声合成を訓練源として用い, 実際の録音を目標として保持することで, 新たなアプローチを採るMimicLMを提案する。
実験により、MimicLMはシンプルで効果的なアーキテクチャで優れた音声模倣品質を実現することが示された。
論文 参考訳（メタデータ） (2026-04-13T14:40:25Z) - A Novel Automatic Framework for Speaker Drift Detection in Synthesized Speech [34.33842514204989]
近年の拡散型テキスト音声合成(TTS)モデルは、自然性や表現性が高いが、話者のドリフトに悩まされることが多い。
発話レベルの話者整合性よりも二項分類タスクとして定式化することで、話者のドリフトを検出するための最初の自動フレームワークを提案する。
本手法は,合成音声の重なり合う部分のコサイン類似性を計算し,構造表現を持つ大規模言語モデルにドリフトを評価する。
論文 参考訳（メタデータ） (2026-04-07T18:05:28Z) - On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。
本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
論文 参考訳（メタデータ） (2026-01-09T22:01:56Z) - Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play [68.54773980519457]
Speech-DRAMEは3つのレベルで貢献する統合フレームワークである。
音声ロールプレイを評価するための、最初の包括的で再現可能な基盤を提供する。
論文 参考訳（メタデータ） (2025-11-03T06:12:40Z) - Flamed-TTS: Flow Matching Attention-Free Models for Efficient Generating and Dynamic Pacing Zero-shot Text-to-Speech [2.5964779217812057]
Flamed-TTSは、低計算コスト、低レイテンシ、高音声忠実度と豊富な時間的多様性を強調する新しいゼロショットテキスト音声合成フレームワークである。
本研究では,Flamed-TTSが最先端モデルを超え,可知性,自然性,話者の類似性,音響特性の保存,動的ペースについて検討した。
論文 参考訳（メタデータ） (2025-10-03T09:36:55Z) - Optimizing Speech Language Models for Acoustic Consistency [2.5864269455844484]
我々は、0.7B音声のみのモデル、1.0B音声のみのモデル、1.0Bテキストと音声の両方のインターリーブモデルという3つのモデルを訓練する。
提案手法は,音声トークンを自己教師機能付きで初期化し,光アライメントロスを施し,薄型化と補助的目的を有する列車に適用する。
論文 参考訳（メタデータ） (2025-09-30T13:59:52Z) - DMOSpeech: Direct Metric Optimization via Distilled Diffusion Model in Zero-Shot Speech Synthesis [12.310318928818546]
DMOSpeechは, 蒸留拡散に基づくTSモデルであり, 教師モデルと比較して高速な推論と優れた性能を実現する。
我々の総合的な実験は、人間の広範囲な評価によって検証され、自然性、知性、話者の類似性を大幅に向上させながら、推測時間を桁違いに減らした。
本研究は,音声合成と人間の聴覚嗜好を協調する新たな枠組みを,直接的メートル法最適化により確立する。
論文 参考訳（メタデータ） (2024-10-14T21:17:58Z) - Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive
Bias [71.94109664001952]
Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。
Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
論文 参考訳（メタデータ） (2023-06-06T08:54:49Z) - A Vector Quantized Approach for Text to Speech Synthesis on Real-World
Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。
最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。
近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-08T17:34:32Z) - Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。
数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。
英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2022-11-17T07:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。