論文の概要: Harmonizing Spectral Evolution in Conditional Flow Matching for TTS
- arxiv url: http://arxiv.org/abs/2609.34431v1
- Date: Mon, 28 Sep 2026 06:51:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.000564
- Title: Harmonizing Spectral Evolution in Conditional Flow Matching for TTS
- Title（参考訳）: TTSのための条件付き流れマッチングにおける高調波スペクトルの進化
- Abstract要約: テキスト音声(TTS)のための条件付きフローマッチング(CFM)モデルは、推論中に不整合周波数の進化に悩まされる。
我々は,この問題を新しいトレーニング不要な周波数選択型ブースティング戦略を導入することで効果的に緩和できることを実証した。
- 参考スコア（独自算出の注目度）: 0.0764671395172401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conditional Flow Matching (CFM) models for text-to-speech (TTS) suffer from incoherent frequency evolution during inference. While similar spectral imbalances are addressed in diffusion models for other domains, those generic solutions fail to generalize to the inherently uncoordinated acoustic dynamics of CFM. We demonstrate that this issue can be effectively mitigated by introducing a novel training-free frequency-selective boosting strategy. Using the Discrete Wavelet Transform (DWT), our method dynamically modulates mel-spectrogram sub-bands during ODE integration, synchronizing spectral development by penalizing aggressive low-frequency growth and boosting lagging high-frequency details. Validated across diverse architectures (Matcha-TTS, F5-TTS, IndicF5), our approach reduces the required Number of Function Evaluations (NFE) from 32 to 26 and improves Frechet Audio Distance (FAD) by up to 61%, all without compromising mean opinion scores, speaker similarity, and speech intelligibility.
- Abstract（参考訳）: テキスト音声(TTS)のための条件付きフローマッチング(CFM)モデルは、推論中に不整合周波数の進化に悩まされる。
同様のスペクトル不均衡は、他の領域の拡散モデルで対処されるが、これらの一般的な解は、本質的に協調しないCFMの音響力学に一般化することができない。
我々は,この問題を新しいトレーニング不要な周波数選択型ブースティング戦略を導入することで効果的に緩和できることを実証した。
離散ウェーブレット変換(DWT)を用いて、ODE統合中のメル-スペクトログラムサブバンドを動的に変調し、アグレッシブな低周波成長をペナル化し、高周波の詳細を遅延させることによりスペクトル発生を同期させる。
提案手法は,様々なアーキテクチャ(Matcha-TTS,F5-TTS,IndicF5)で検証され,必要な機能評価回数(NFE)を32から26に削減し,Frechet Audio Distance(FAD)を最大61%改善する。
関連論文リスト
- UniSkip-Mamba: A Frequency-Aware State Space Model for Audio-Visual Temporal Forgery Localization [13.738195795114516]
周波数対応状態空間モデルフレームワークUniSkip-Mambaを提案する。
AV-Deepfake1Mでは63.4%のAP@0.95,63.58%のmAP,6倍の高速化を実現した。
論文 参考訳（メタデータ） (2026-07-05T20:51:24Z) - Learning to Separate RF Signals Under Uncertainty: Detect-Then-Separate vs. Unified Joint Models [53.79667447811139]
受信した信号に直接適用した場合、単一のディープニューラルネットワークアーキテクチャが共同で検出および分離することを学習していることを示す。
これらの結果から,UJM は DTS に代わるスケーラブルで実用的な代替品であり,広範に推定された統合分離のための新たな方向を開拓した。
論文 参考訳（メタデータ） (2026-02-04T15:25:02Z) - FeRA: Frequency-Energy Constrained Routing for Effective Diffusion Adaptation Fine-Tuning [124.5975705334805]
FeRAは、効果的な拡散適応微調整のための包括的な周波数エネルギーの枠組みを確立する。
アダプタベースのチューニングスキームとシームレスに統合され、拡散バックボーンと解像度にわたってうまく一般化される。
論文 参考訳（メタデータ） (2025-11-22T08:46:18Z) - Latent Diffusion Model Based Denoising Receiver for 6G Semantic Communication: From Stochastic Differential Theory to Application [11.385703484113552]
生成人工知能(GAI)を利用した新しい意味コミュニケーションフレームワークを提案する。
意味的特徴抽出のための変分オートエンコーダを組み合わせた潜在拡散モデル(LDM)に基づくセマンティックコミュニケーションフレームワークを提案する。
提案システムはゼロショットの一般化をサポートし,低SNRおよびアウト・オブ・ディストリビューション条件下での優れた性能を実現する訓練自由フレームワークである。
論文 参考訳（メタデータ） (2025-06-06T03:20:32Z) - FreqMoE: Dynamic Frequency Enhancement for Neural PDE Solvers [33.5401363681771]
本稿では,低周波成分に対する高周波信号の依存性を利用した,効率的かつプログレッシブなトレーニングフレームワークFreqMoEを提案する。
正規格子PDEと不規則格子PDEの両方の実験により、FreqMoEは16.6%の精度向上を達成した。
論文 参考訳（メタデータ） (2025-05-11T06:06:32Z) - High-Fidelity Speech Synthesis with Minimal Supervision: All Using
Diffusion Models [56.00939852727501]
最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。
非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
論文 参考訳（メタデータ） (2023-09-27T09:27:03Z) - ConsistencyTTA: Accelerating Diffusion-Based Text-to-Audio Generation with Consistency Distillation [21.335983674309475]
拡散モデルは、世代毎の根底にあるデノナイジングネットワークへのクエリ数が過度に多いため、遅い推論に悩まされる。
本稿では,1つの非自己回帰型ネットワーククエリのみを必要とするフレームワークであるConsistencyTTAを紹介する。
そこで我々は「CFG対応潜時整合モデル」を提案し, 整合性生成を潜時空間に適応させる。
論文 参考訳（メタデータ） (2023-09-19T16:36:33Z) - Speaker Representation Learning using Global Context Guided Channel and
Time-Frequency Transformations [67.18006078950337]
グローバルな文脈情報を用いて、重要なチャネルを強化し、有意義な時間周波数位置を再検討する。
提案されたモジュールは、人気のあるResNetベースのモデルとともに、VoxCeleb1データセットで評価される。
論文 参考訳（メタデータ） (2020-09-02T01:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。