論文の概要: Hard-Synth: Synthesizing Diverse Hard Samples for ASR using Zero-Shot TTS and LLM

• arxiv url: http://arxiv.org/abs/2411.13159v1
• Date: Wed, 20 Nov 2024 09:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:03.051047
• Title: Hard-Synth: Synthesizing Diverse Hard Samples for ASR using Zero-Shot TTS and LLM
• Title（参考訳）: ハードシンス:Zero-Shot TTSとLDMを用いたASR用逆ハードサンプルの合成
• Authors: Jiawei Yu, Yuang Li, Xiaosong Qiao, Huan Zhao, Xiaofeng Zhao, Wei Tang, Min Zhang, Hao Yang, Jinsong Su,
• Abstract要約: テキスト音声合成(TTS)モデルは自動音声認識(ASR)システムを強化するために広く採用されている。 我々は,大規模言語モデル(LLM)と高度なゼロショットTSを利用する新しいASRデータ拡張手法であるHard-Synthを提案する。 我々のアプローチでは、追加のテキストデータに頼ることなく、書き直しによる多様なドメイン内テキストを生成するためにLLMを用いる。
• 参考スコア（独自算出の注目度）: 48.71951982716363
• License:
• Abstract: Text-to-speech (TTS) models have been widely adopted to enhance automatic speech recognition (ASR) systems using text-only corpora, thereby reducing the cost of labeling real speech data. Existing research primarily utilizes additional text data and predefined speech styles supported by TTS models. In this paper, we propose Hard-Synth, a novel ASR data augmentation method that leverages large language models (LLMs) and advanced zero-shot TTS. Our approach employs LLMs to generate diverse in-domain text through rewriting, without relying on additional text data. Rather than using predefined speech styles, we introduce a hard prompt selection method with zero-shot TTS to clone speech styles that the ASR model finds challenging to recognize. Experiments demonstrate that Hard-Synth significantly enhances the Conformer model, achieving relative word error rate (WER) reductions of 6.5\%/4.4\% on LibriSpeech dev/test-other subsets. Additionally, we show that Hard-Synth is data-efficient and capable of reducing bias in ASR.
• Abstract（参考訳）: テキストのみコーパスを用いた自動音声認識(ASR)システムを強化するために,TTSモデルが広く採用され,実際の音声データのラベル付けコストが削減されている。 既存の研究は主に、TSモデルでサポートされている追加のテキストデータと事前定義された音声スタイルを利用する。 本稿では,大規模言語モデル(LLM)と高度なゼロショットTSを利用する新しいASRデータ拡張手法であるHard-Synthを提案する。 我々のアプローチでは、追加のテキストデータに頼ることなく、書き直しによる多様なドメイン内テキストを生成するためにLLMを用いる。 事前に定義された音声スタイルを使用するのではなく、ゼロショットTSを用いたハードプロンプト選択手法を導入し、音声認識が困難となる音声スタイルをクローンする。 実験により、Hard-Synth は Conformer モデルを大幅に強化し、LibriSpeech の開発/テスト用サブセット上での相対単語誤り率 (WER) の 6.5\%/4.4\% の削減を実現した。 さらに,Hard-Synthはデータ効率が高く,ASRのバイアスを低減できることを示す。

関連論文リスト

• MultiVerse: Efficient and Expressive Zero-Shot Multi-Task Text-to-Speech [7.038489351956803]
  MultiVerseは、ゼロショットのマルチタスクTSシステムであり、ゼロショットおよびクロスランガル条件下でTSや音声スタイルの転送を行うことができる。 我々は、フィルタ関連およびソース関連表現をモデル化するためのプロンプトを利用して、ソースフィルタ理論に基づくアンタングルメントを用いる。 我々の新しい韻律モデリング技術は、与えられた韻律と高い韻律的類似性を持つ音声を生成するMultiVerseの能力に大きく貢献する。
  論文  参考訳（メタデータ） (2024-10-04T07:10:25Z)
• Text-To-Speech Synthesis In The Wild [76.71096751337888]
  テキスト音声システム(TTS)は、伝統的にスタジオ品質の控えめなデータベースを用いて訓練されている。 本稿では,話者認識に一般的に使用されるVoxCeleb1データセットに適用した,完全に自動化されたパイプラインの結果であるTS In the Wild (TITW)データセットを紹介する。 我々は、TITW-Easyを用いて、最近の多くのTSモデルをうまくトレーニングできることを示し、TITW-Hardを用いて同様の結果を生成することは極めて困難である。
  論文  参考訳（メタデータ） (2024-09-13T10:58:55Z)
• SimpleSpeech 2: Towards Simple and Efficient Text-to-Speech with Flow-based Scalar Latent Transformer Diffusion Models [64.40250409933752]
  我々は、SimpleSpeech 2.0と呼ばれるシンプルで効率的な非自己回帰(NAR)TSフレームワークを実装することで、過去の出版物の上に構築した。 SimpleSpeech 2は、自己回帰(AR)法と非自己回帰(NAR)法の両方の長所を効果的に組み合わせている。 我々は,従来の作業と他の大規模TSモデル(SOTA)と比較して,生成性能と生成速度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-25T17:07:39Z)
• On the Problem of Text-To-Speech Model Selection for Synthetic Data Generation in Automatic Speech Recognition [31.58289343561422]
  合成データ生成の範囲内で, 5種類のTSデコーダアーキテクチャを比較し, CTCに基づく音声認識学習への影響を示す。 データ生成における自己回帰復号法は,非自己回帰復号法よりも優れており,TTS一般化能力を定量化するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-31T09:37:27Z)
• TextrolSpeech: A Text Style Control Speech Corpus With Codec Language Text-to-Speech Models [51.529485094900934]
  リッチテキスト属性を付加した最初の大規模音声感情データセットであるTextrolSpeechを提案する。 本稿では,GPTモデルを利用した多段階プロンプトプログラミング手法を提案する。 そこで我々は,より多様なスタイルで音声を生成する必要性に対処するため,Salleと呼ばれる効率的なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T09:06:32Z)
• Towards Selection of Text-to-speech Data to Augment ASR Training [20.115236045164355]
  ニューラルネットワークをトレーニングして、合成データの実際の音声との類似性を計測する。 音声認識性能を高めるためには, 実音声とはかなりの相似性を持つ合成サンプルを組み込むことが重要である。
  論文  参考訳（メタデータ） (2023-05-30T17:24:28Z)
• A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
  我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。 最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。 近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T17:34:32Z)
• Distribution augmentation for low-resource expressive text-to-speech [18.553812159109253]
  本稿では,TTS(text-to-speech)のための新しいデータ拡張手法を提案する。 追加データを必要とすることなく、新たな(テキスト、オーディオ)トレーニング例を生成することができる。
  論文  参考訳（メタデータ） (2022-02-13T21:19:31Z)
• STYLER: Style Modeling with Rapidity and Robustness via SpeechDecomposition for Expressive and Controllable Neural Text to Speech [2.622482339911829]
  STYLERは並列化アーキテクチャを持つ新しい表現型テキスト音声合成モデルである。 提案手法は, 雑音を伝達することなく, ドメイン逆学習と残余復号化を併用した音声からのノイズモデリング手法である。
  論文  参考訳（メタデータ） (2021-03-17T07:11:09Z)
• GraphSpeech: Syntax-Aware Graph Attention Network For Neural Speech Synthesis [79.1885389845874]
  Transformer-based end-to-end text-to-speech synthesis (TTS)は、このような実装の成功例の一つである。 本稿では,グラフニューラルネットワークフレームワークで定式化された新しいニューラルネットワークモデルであるGraphSpeechを提案する。 実験により、GraphSpeechは、発話のスペクトルと韻律レンダリングの点で、Transformer TTSベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2020-10-23T14:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。