論文の概要: A Self-Refining Framework for Enhancing ASR Using TTS-Synthesized Data

• arxiv url: http://arxiv.org/abs/2506.11130v2
• Date: Mon, 16 Jun 2025 15:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 13:01:17.493281
• Title: A Self-Refining Framework for Enhancing ASR Using TTS-Synthesized Data
• Title（参考訳）: TTS合成データを用いたASR向上のための自己精錬フレームワーク
• Authors: Cheng-Kang Chou, Chan-Jan Hsu, Ho-Lam Chung, Liang-Hsuan Tseng, Hsi-Chun Cheng, Yu-Kuan Fu, Kuan Po Huang, Hung-Yi Lee,
• Abstract要約: 本稿では,ラベルのないデータセットのみを用いて,ASR性能を向上させる自己精錬フレームワークを提案する。 台湾語マンダリン音声における枠組みの有効性を実証する。
• 参考スコア（独自算出の注目度）: 46.73430446242378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a self-refining framework that enhances ASR performance with only unlabeled datasets. The process starts with an existing ASR model generating pseudo-labels on unannotated speech, which are then used to train a high-fidelity text-to-speech (TTS) system. Then, synthesized speech text pairs are bootstrapped into the original ASR system, completing the closed-loop self-improvement cycle. We demonstrated the effectiveness of the framework on Taiwanese Mandarin speech. Leveraging 6,000 hours of unlabeled speech, a moderate amount of text data, and synthetic content from the AI models, we adapt Whisper-large-v2 into a specialized model, Twister. Twister reduces error rates by up to 20% on Mandarin and 50% on Mandarin-English code-switching benchmarks compared to Whisper. Results highlight the framework as a compelling alternative to pseudo-labeling self-distillation approaches and provides a practical pathway for improving ASR performance in low-resource or domain-specific settings.
• Abstract（参考訳）: 本稿では,ラベルのないデータセットのみを用いて,ASR性能を向上させる自己精錬フレームワークを提案する。 このプロセスは、注釈のない音声に擬似ラベルを生成する既存のASRモデルから始まり、高忠実な音声合成システム(TTS)の訓練に使用される。 そして、合成音声テキストペアを元のASRシステムにブートストラップし、クローズドループ自己改善サイクルを完了させる。 台湾のマンダリン音声における枠組みの有効性を実証した。 6000時間のラベルなし音声、適度なテキストデータ、AIモデルからの合成コンテンツを活用して、Whisper-large-v2を特殊なモデルであるTwisterに適応する。 Twisterは、Whisperと比較して、Mandarinで最大20%、Mandarin- Englishのコードスイッチングベンチマークで最大50%エラー率を削減する。 結果として、このフレームワークは擬似ラベルによる自己蒸留アプローチに代わる魅力的な代替手段として強調され、低リソースまたはドメイン固有の設定でASRのパフォーマンスを改善するための実践的な経路を提供する。

関連論文リスト

• KIT's Low-resource Speech Translation Systems for IWSLT2025: System Enhancement with Synthetic Data and Model Regularization [57.08591486199925]
  本稿では,KIT の低リソーストラック IWSLT 2025 への提出について述べる。 ケースドシステムとエンド・ツー・エンド(E2E)音声翻訳システムを開発した。 事前訓練されたモデルに基づいて、リソースを効率的に活用するためのさまざまな戦略でシステムを微調整します。
  論文  参考訳（メタデータ） (2025-05-26T08:38:02Z)
• Hard-Synth: Synthesizing Diverse Hard Samples for ASR using Zero-Shot TTS and LLM [48.71951982716363]
  テキスト音声合成(TTS)モデルは自動音声認識(ASR)システムを強化するために広く採用されている。 我々は,大規模言語モデル(LLM)と高度なゼロショットTSを利用する新しいASRデータ拡張手法であるHard-Synthを提案する。 我々のアプローチでは、追加のテキストデータに頼ることなく、書き直しによる多様なドメイン内テキストを生成するためにLLMを用いる。
  論文  参考訳（メタデータ） (2024-11-20T09:49:37Z)
• Extending Whisper with prompt tuning to target-speaker ASR [18.31992429200396]
  ターゲット話者自動音声認識(Target-Speaker Automatic Speech Recognition, ASR)は、ターゲット話者の所望の音声を重なり合う発話から書き起こすことを目的としている。 既存のターゲットスピーカーASR(TS-ASR)の手法のほとんどは、スクラッチからトレーニングするか、事前訓練されたモデルを完全に微調整するものである。 この研究は、パラメータ効率のよい微調整手法であるプロンプトチューニングを利用して、大規模なシングルストーカーASRモデルであるWhisperをTS-ASRに拡張する。
  論文  参考訳（メタデータ） (2023-12-13T11:49:16Z)
• Text-only domain adaptation for end-to-end ASR using integrated text-to-mel-spectrogram generator [17.44686265224974]
  本稿では, テキストのみのデータ, あるいは混在した音声データに基づいて, エンドツーエンドの自動音声認識(ASR)システムを提案する。 提案手法は,書き起こし音声のみを訓練したシステムと比較して,ASRの精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-02-27T18:47:55Z)
• USTED: Improving ASR with a Unified Speech and Text Encoder-Decoder [8.88137815551529]
  テキストからテキストへの補助的なタスクのセットと共同でASRモデルを訓練する。 ASRのみの基準線上でWERを16%, 20%の減少率で比較検討した。 我々は、Librispeechデータ上でマスク付き言語モデルを訓練したり、補助タスクとして機械翻訳を使用したりすることで、さらなる改善を実現している。
  論文  参考訳（メタデータ） (2022-02-12T11:35:59Z)
• Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
  音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる ASR誤差はカスケード法における出力要約の品質に直接影響する。 本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
  論文  参考訳（メタデータ） (2021-11-16T03:00:29Z)
• You Do Not Need More Data: Improving End-To-End Speech Recognition by Text-To-Speech Data Augmentation [59.31769998728787]
  我々は、ASRトレーニングデータベース上にTSシステムを構築し、合成音声でデータを拡張し、認識モデルを訓練する。 テストクリーンはWER 4.3%,他のテストクリーンは13.5%で、このシステムはLibriSpeechトレインクリーン100で訓練されたエンドツーエンドASRの競争結果を確立している。
  論文  参考訳（メタデータ） (2020-05-14T17:24:57Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。