論文の概要: Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition

• arxiv url: http://arxiv.org/abs/2408.09215v1
• Date: Sat, 17 Aug 2024 14:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 21:50:21.931403
• Title: Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition
• Title（参考訳）: 会話音声認識のためのテキスト音声と大言語モデルによるデータ生成
• Authors: Samuele Cornell, Jordan Darefsky, Zhiyao Duan, Shinji Watanabe,
• Abstract要約: 複数話者対話型ASRのための合成データ生成パイプラインを提案する。 我々は、電話と遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。
• 参考スコア（独自算出の注目度）: 48.527630771422935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, a common approach in many speech processing tasks is to leverage large scale pre-trained models by fine-tuning them on in-domain data for a particular application. Yet obtaining even a small amount of such data can be problematic, especially for sensitive domains and conversational speech scenarios, due to both privacy issues and annotation costs. To address this, synthetic data generation using single speaker datasets has been employed. Yet, for multi-speaker cases, such an approach often requires extensive manual effort and is prone to domain mismatches. In this work, we propose a synthetic data generation pipeline for multi-speaker conversational ASR, leveraging a large language model (LLM) for content creation and a conversational multi-speaker text-to-speech (TTS) model for speech synthesis. We conduct evaluation by fine-tuning the Whisper ASR model for telephone and distant conversational speech settings, using both in-domain data and generated synthetic data. Our results show that the proposed method is able to significantly outperform classical multi-speaker generation approaches that use external, non-conversational speech datasets.
• Abstract（参考訳）: 現在、多くの音声処理タスクにおいて一般的なアプローチは、特定のアプリケーションのためのドメイン内のデータにそれらを微調整することで、大規模な事前訓練モデルを活用することである。 しかし、プライバシの問題とアノテーションのコストの両方のために、特にセンシティブなドメインや会話型の音声シナリオにおいて、そのようなデータを少量取得することさえ問題になる可能性がある。 これを解決するために、単一話者データセットを用いた合成データ生成が導入された。 しかし、マルチスピーカーの場合、このようなアプローチは多くの場合、広範囲な手作業を必要とし、ドメインミスマッチを起こしやすい。 本研究では,多話者対話型ASRのための合成データ生成パイプラインを提案し,コンテンツ生成のための大言語モデル(LLM)と音声合成のための多話者テキスト音声合成(TTS)モデルを提案する。 我々は、ドメイン内データと生成された合成データの両方を用いて、電話および遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。 提案手法は,外部の非会話型音声データセットを用いた古典的マルチ話者生成手法よりも大幅に優れていることを示す。

関連論文リスト

• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning [64.56272011710735]
  大規模言語モデル(LLM)のバックボーンの低ランク適応(LoRA)に対して,新しい単一段階共同音声テキストSFTアプローチを提案する。 従来のSpeechLMの7Bまたは13Bパラメータと比較すると,我々の3Bモデルは様々な音声ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T00:36:06Z)
• Advancing Multi-talker ASR Performance with Large Language Models [48.52252970956368]
  対話シナリオにおける複数話者からの重複音声認識は、音声認識(ASR)において最も難しい問題の一つである。 本稿では,事前学習した音声エンコーダとLLMを利用したマルチストーカーASRのためのSOTアプローチを提案する。 提案手法は,シミュレーションデータセットLibriMixにおける従来のAEDに基づく手法を超越し,実世界のデータセットAMIの評価セット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-08-30T17:29:25Z)
• Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model [47.67067056593085]
  単一チャネルの対話データを擬似ステレオデータに変換するパイプラインを開発する。 これにより、トレーニングデータセットを2,000時間から17,600時間に拡大しました。 この擬似ステレオデータの導入は、音声対話言語モデルの性能向上に有効であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-02T03:22:41Z)
• Integrating Paralinguistics in Speech-Empowered Large Language Models for Natural Conversation [46.93969003104427]
  本稿では,広範な音声テキストLLMフレームワークである統一音声対話モデル(USDM)を紹介する。 USDMは、与えられた入力音声に関連する自然な韻律的特徴を持つコヒーレントな音声応答を生成するように設計されている。 提案手法は,従来のベースラインとカスケードベースラインを超越した自然な音声応答を効果的に生成する。
  論文  参考訳（メタデータ） (2024-02-08T14:35:09Z)
• Deepfake audio as a data augmentation technique for training automatic speech to text transcription models [55.2480439325792]
  本稿では,ディープフェイク音声に基づくデータ拡張手法を提案する。 インド人(英語)が生成したデータセットが選択され、単一のアクセントの存在が保証された。
  論文  参考訳（メタデータ） (2023-09-22T11:33:03Z)
• Talk the Walk: Synthetic Data Generation for Conversational Music Recommendation [62.019437228000776]
  本稿では,広く利用可能なアイテムコレクションにおいて,符号化された専門知識を活用することで,現実的な高品質な会話データを生成するTalkWalkを提案する。 人間の収集したデータセットで100万以上の多様な会話を生成します。
  論文  参考訳（メタデータ） (2023-01-27T01:54:16Z)
• Simulating realistic speech overlaps improves multi-talker ASR [36.39193360559079]
  本稿では,複数話者の重なり合う音声を現実的な音声重なりでシミュレートする改良手法を提案する。 この表現により、N-gramのような統計言語モデルに基づいて、実際の会話から重なり合う音声パターンを学習することができる。 実験では,提案手法を用いて学習したマルチストーカーASRモデルを用いて,複数データセット間の単語誤り率を一貫した改善を行った。
  論文  参考訳（メタデータ） (2022-10-27T18:29:39Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。