論文の概要: Diagnose, Then Refine: A Closed-Loop TTS System with AudioLLM-Guided Correction

• arxiv url: http://arxiv.org/abs/2608.28970v1
• Date: Sat, 29 Aug 2026 00:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.798128
• Title: Diagnose, Then Refine: A Closed-Loop TTS System with AudioLLM-Guided Correction
• Title（参考訳）: オーディオLLMガイド下矯正機能付きクローズドループTSシステム
• Abstract要約: LoopTTS は、AudioLLM で診断された低品質 TTS 出力を復元するための判断誘導フレームワークである。 Refinerは、我々の微粒な命令追従型TSSモデルであり、初期発話、ターゲットテキスト、および命令に基づいて誘導された表現的再合成を実行する。 診断された低品質発話に対する人間の評価は、LoopTTSが知覚的に健全な誤りを検知し、Refinerで修正できることを示している。
• 参考スコア（独自算出の注目度）: 32.74294090671982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current TTS systems typically rely on open-loop, single-pass generation and can produce sporadic local prosodic defects, such as misplaced stress, unnatural pauses, or flattened intonation, that utterance-level metrics often fail to expose. We present LoopTTS, a judge-guided Filter-Judge-Refiner framework for recovering low-quality TTS outputs diagnosed by an AudioLLM. Given an initial utterance from a base TTS model, an AudioLLM Judge identifies salient prosodic issues and generates structured refine instructions; a Refiner, our fine-grained instruction-following TTS model, then performs guided expressive re-synthesis conditioned on the initial utterance, target text, and instruction. To train the Refiner, we construct Refiner-DB, a 42K-example AudioLLM-annotated dataset with word-level prosodic weak supervision. Human evaluation on diagnosed low-quality utterances shows that LoopTTS can detect perceptually salient errors and correct them with the Refiner, outperforming raw generated audio and practical open-loop re-generation baselines in recovery quality. The Refiner also demonstrates stronger instruction-following ability for stress and pause control in targeted prosody modification.
• Abstract（参考訳）: 現在のTSSシステムは、通常、オープンループ、シングルパス生成に依存しており、発話レベルのメトリクスが露出しないような、過度なストレスや不自然な一時停止、平らなイントネーションといった、散発的な局所的な韻律的欠陥を発生させることができる。 本稿では,AudioLLM で診断された低品質 TTS 出力を復元するための判断誘導フィルタ・ジャッジ・リファイナフレームワークである LoopTTS を提案する。 基本TTSモデルから初期発話が与えられた後、AudioLLM judgeは有能な韻律問題を特定し、構造化された洗練命令を生成する。 Refiner-DBは42K例のAudioLLMアノテーション付きデータセットで,単語レベルの韻律的弱監視機能を備えている。 診断された低品質発話に対する人間の評価は、LoopTTSが知覚的に健全な誤りを検知し、Refinerで修正できることを示し、再生品質において生のオーディオと実用的なオープンループ再生ベースラインを上回っている。 Refinerはまた、ターゲットの韻律修正におけるストレスと停止制御の強い指示追従能力を示す。

関連論文リスト

• Test-Time Scaling for Video Diffusion Models via Diagnosis-Guided Candidate Recycling [33.61736033562169]
  textbfGEARS (textbfGuided textbfEditing for textbfRecycling textbfSearch) は,テキスト誘導型候補リサイクルをビデオTSに導入したトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2026-08-29T15:08:31Z)
• Assessing the Ability of Neural TTS Systems to Model Consonant-Induced F0 Perturbation [30.798688471243413]
  本研究では,子音によるf0摂動を再現するニューラルネットワークモデルの性能を評価するための分節レベルの韻律探索フレームワークを提案する。 同じ音声コーパス(LJ音声)で訓練されたTacotron 2とFastSpeech 2を用いて、語彙周波数で階層化された何千もの単語の合成および自然な音声認識を比較する。 その結果,高周波単語の再現精度は高いが,低周波項目への一般化は低かった。
  論文  参考訳（メタデータ） (2026-03-22T06:06:47Z)
• Training-Free Intelligibility-Guided Observation Addition for Noisy ASR [57.74127683005929]
  本稿では,雑音環境下での音声認識を改善するために,インテリジェンス誘導観測加算法を提案する。 さまざまなSE-ASRの組み合わせとデータセットによる実験は、既存のOAベースラインよりも強い堅牢性と改善を示している。
  論文  参考訳（メタデータ） (2026-02-24T14:46:54Z)
• ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models [12.527207210862151]
  ReHearは、自動音声認識における反復的な擬似ラベル改善のためのフレームワークである。 命令調整されたオーディオ対応の大規模言語モデルを自己学習ループに統合する。 ReHearはエラーの伝播を効果的に軽減し、教師付きベースラインと疑似ラベルベースラインの両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-21T05:04:22Z)
• CAPTAIN: Semantic Feature Injection for Memorization Mitigation in Text-to-Image Diffusion Models [60.610268549138375]
  拡散モデルは意図せずトレーニング例を再現し、プライバシーと著作権の懸念を高めることができる。 CAPTAINはトレーニング不要のフレームワークで,聴覚障害時に潜伏した特徴を直接修正することで記憶を緩和する。
  論文  参考訳（メタデータ） (2025-12-11T14:01:47Z)
• DRES: Benchmarking LLMs for Disfluency Removal [27.083825614818135]
  um"、"uh"、インタージェクション、括弧、編集されたステートメントなどの分散は、音声駆動システムにおいて永続的な課題である。 制御されたテキストレベルのベンチマークである拡散除去評価スイートは、このタスクに対して再現可能なセマンティックアッパーバウンドを確立する。 DRESは、人間の注釈付きSwitchboard transcriptの上に構築され、ASRエラーからの拡散除去と音響的変動を分離する。
  論文  参考訳（メタデータ） (2025-09-24T17:08:12Z)
• Robust Zero-Shot Text-to-Speech Synthesis with Reverse Inference Optimization [34.51491788470738]
  本稿では,自己回帰モデルに基づく音声合成システム(TTS)の堅牢性を高めるために,リバース推論最適化(RIO)を提案する。 RIOは、RTSシステム自体によって生成された音声サンプルからRLHFで使用される例を選択するために、逆推論を使用する。 RIOは、トレーニングと推論条件の相違を低減し、ゼロショットTS性能の安定性を著しく向上する。
  論文  参考訳（メタデータ） (2024-07-02T13:04:04Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction [90.55375210094995]
  音声強調は、背景雑音の抑制による音声信号の知覚品質の向上を目的としている。 本稿では,頑健な話者表現抽出のためのエンドツーエンドディープラーニングフレームワークPL-EESRを提案する。
  論文  参考訳（メタデータ） (2021-10-03T07:05:29Z)
• Latent Template Induction with Gumbel-CRFs [107.17408593510372]
  文生成のための潜在テンプレートを推論するための構造化変分オートエンコーダについて検討する。 構造化推論ネットワークとして、トレーニング中に解釈可能なテンプレートを学習することを示す。
  論文  参考訳（メタデータ） (2020-11-29T01:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。