論文の概要: NVAlign: Direct-Gradient Optimization for Non-Verbal Control in Continuous Autoregressive Flow Matching Text-to-Speech

• arxiv url: http://arxiv.org/abs/2609.31892v1
• Date: Fri, 25 Sep 2026 18:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:52:56.82148
• Title: NVAlign: Direct-Gradient Optimization for Non-Verbal Control in Continuous Autoregressive Flow Matching Text-to-Speech
• Title（参考訳）: NVAlign: 連続自己回帰フローマッチング音声音声における非言語制御の直接勾配最適化
• Abstract要約: テキスト音声(TTS)システムにおけるNVVタグフォローのための後学習フレームワークであるNVAlignを提案する。 二段階勾配サロゲートは、フローマッチングサンプリング器を介して効率よく報奨バックプロパゲーションを行い、自己回帰バックボーンと音響フローヘッドを共同で更新する。 NVV-SuperBenchおよびヒューマンリスニング評価の結果,NVAlignはSFTおよびFlow-GRPOベースラインよりもタグ追従精度が向上した。
• 参考スコア（独自算出の注目度）: 2.149219813073404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While modern text-to-speech (TTS) systems generate highly natural speech and support inline non-verbal vocalization (NVV) tags, accurate control over these events remains challenging. A key gap is the lack of established post-training methods for non-verbal control in continuous autoregressive flow-matching TTS. To this end, we present NVAlign, a direct-gradient post-training framework for NVV tag-following in this architecture. We first perform supervised fine-tuning (SFT) of TTS models and an NVV-aware automatic speech recognition (NV-ASR) model on NVV-annotated speech, then freeze the NV-ASR model to serve as the reward model for post-training. A two-step gradient surrogate enables efficient reward backpropagation through the flow-matching sampler to jointly update the autoregressive backbone and acoustic flow head. Fidelity penalties and reference-velocity regularization help preserve speaker similarity and speech quality. Results from NVV-SuperBench and human listening evaluations show that NVAlign improves tag-following accuracy over SFT and Flow-GRPO baselines. These findings demonstrate that direct reward-gradient optimization can improve non-verbal control in continuous autoregressive flow-matching TTS. Audio samples are available at https://nvalign.github.io/.
• Abstract（参考訳）: 現代のテキスト音声合成システム(TTS)は、非常に自然な音声を生成し、インライン非言語発声(NVV)タグをサポートするが、これらの事象の正確な制御は依然として困難である。 重要なギャップは、連続的自己回帰フローマッチングTSにおいて、非言語制御のための確立された後訓練方法が欠如していることである。 この目的のために,NVVタグフォローのための学習後直接学習フレームワークであるNVAlignを提案する。 まず,NTSモデルの教師付き微調整(SFT)とNVV対応音声認識(NV-ASR)モデルを実行し,次にNV-ASRモデルを凍結し,後処理の報酬モデルとして機能させる。 2段階勾配サロゲートは、フローマッチングサンプリング器を介して効率よく報奨バックプロパゲーションを行い、自己回帰バックボーンと音響フローヘッドを共同で更新する。 忠実さの罰則と基準速度の規則化は、話者の類似性と音声品質の維持に役立つ。 NVV-SuperBenchおよびヒューマンリスニング評価の結果,NVAlignはSFTおよびFlow-GRPOベースラインよりもタグ追従精度が向上した。 これらの結果から, 直接報酬段階最適化は, 連続自己回帰型流れマッチングTTSにおける非言語制御を改善することが示唆された。 オーディオサンプルはhttps://nvalign.github.io/.comで入手できる。

関連論文リスト

• Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach [70.31217233606066]
  10種類の非言語発声(NVV)を対象とした最初の系統的研究について述べる。 本研究では,Data2Vec の自己教師機能と ECAPA-TDNN を組み合わせたフレームワークを提案し,Mixture of Experts (MoE) モジュールと学習ドメイン認識ルーティングを併用した。 事前訓練された教師による音声入力に対する条件付き蒸留損失は音声合成精度を保ち、対照的な損失は音声-NVV領域ギャップを橋渡しする。
  論文  参考訳（メタデータ） (2026-06-19T08:32:07Z)
• Robust TTS Training via Self-Purifying Flow Matching for the WildSpoof 2026 TTS Track [5.627981468468872]
  本稿では,WildSpoof Challenge TTS Track 用に開発された軽量テキスト音声合成システムについて述べる。 我々のアプローチは、最近リリースされたオープンウェイトTSモデルSupertonicをSPFM(Self-Purifying Flow Matching)で微調整することで、Wild音声へのロバストな適応を可能にする。
  論文  参考訳（メタデータ） (2025-12-19T07:17:43Z)
• Flamed-TTS: Flow Matching Attention-Free Models for Efficient Generating and Dynamic Pacing Zero-shot Text-to-Speech [2.5964779217812057]
  Flamed-TTSは、低計算コスト、低レイテンシ、高音声忠実度と豊富な時間的多様性を強調する新しいゼロショットテキスト音声合成フレームワークである。 本研究では,Flamed-TTSが最先端モデルを超え,可知性,自然性,話者の類似性,音響特性の保存,動的ペースについて検討した。
  論文  参考訳（メタデータ） (2025-10-03T09:36:55Z)
• MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis [56.25862714128288]
  本稿では,イノベーティブなスパースアライメントアルゴリズムを備えたゼロショット音声合成(TTS)システムであるtextitMegaTTS 3を提案する。 具体的には,検索空間を制限せずにアライメントの困難さを軽減するために,MegaTTS 3にスパースアライメント境界を提供する。 実験により、MegaTTS 3は最先端のゼロショットTTS音声品質を実現し、アクセント強度を柔軟に制御できることが示されている。
  論文  参考訳（メタデータ） (2025-02-26T08:22:00Z)
• OverFlow: Putting flows on top of neural transducers for better TTS [9.346907121576258]
  ニューラルHMMは、最近テキストから音声へのシーケンスモデリングのために提案されたニューラルトランスデューサの一種である。 本稿では,ニューラルHMM TTSと正規化流を組み合わせた音声音響の非ガウス分布を記述する。
  論文  参考訳（メタデータ） (2022-11-13T12:53:05Z)
• Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
  シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。 我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。 このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
  論文  参考訳（メタデータ） (2020-08-07T11:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。