論文の概要: Deepfake audio as a data augmentation technique for training automatic speech to text transcription models

• arxiv url: http://arxiv.org/abs/2309.12802v1
• Date: Fri, 22 Sep 2023 11:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 14:49:37.212655
• Title: Deepfake audio as a data augmentation technique for training automatic speech to text transcription models
• Title（参考訳）: テキスト書き起こしモデルへの自動音声認識訓練のためのデータ拡張手法としてのdeepfake audio
• Authors: Alexandre R. Ferreira, Cl\'audio E. C. Campelo
• Abstract要約: 本稿では,ディープフェイク音声に基づくデータ拡張手法を提案する。 インド人(英語)が生成したデータセットが選択され、単一のアクセントの存在が保証された。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To train transcriptor models that produce robust results, a large and diverse labeled dataset is required. Finding such data with the necessary characteristics is a challenging task, especially for languages less popular than English. Moreover, producing such data requires significant effort and often money. Therefore, a strategy to mitigate this problem is the use of data augmentation techniques. In this work, we propose a framework that approaches data augmentation based on deepfake audio. To validate the produced framework, experiments were conducted using existing deepfake and transcription models. A voice cloner and a dataset produced by Indians (in English) were selected, ensuring the presence of a single accent in the dataset. Subsequently, the augmented data was used to train speech to text models in various scenarios.
• Abstract（参考訳）: 堅牢な結果を生成するトランスクリプトーモデルをトレーニングするには、大規模で多様なラベル付きデータセットが必要である。 このようなデータを必要な特性で見つけることは、特に英語ほど人気がない言語では難しい課題である。 さらに、このようなデータの作成には多大な労力と資金が必要です。 したがって、この問題を軽減する戦略は、データ拡張技術の利用である。 本研究では,deepfake音声に基づくデータ拡張にアプローチするフレームワークを提案する。 作成したフレームワークを検証するため,既存のディープフェイクおよび転写モデルを用いて実験を行った。 インド人(英語)が生成した音声クローンとデータセットが選択され、データセットに1つのアクセントが存在することが保証された。 その後、拡張データは様々なシナリオで音声からテキストモデルへの訓練に使用された。

関連論文リスト

• Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition [48.527630771422935]
  複数話者対話型ASRのための合成データ生成パイプラインを提案する。 我々は、電話と遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。
  論文  参考訳（メタデータ） (2024-08-17T14:47:05Z)
• Identifying Speakers in Dialogue Transcripts: A Text-based Approach Using Pretrained Language Models [83.7506131809624]
  本稿では,デジタルメディアアーカイブにおけるコンテンツアクセシビリティと検索可能性を高める重要な課題である,対話テキスト中の話者名を識別する手法を提案する。 本稿では,メディアサムコーパスから派生した大規模データセットについて述べる。 本稿では,話者名を正確に属性付けるために,対話中の文脈的手がかりを活用する,話者IDに適したトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-16T18:03:58Z)
• Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings [8.660203441911554]
  本稿では,音声データを利用した言語モデルの学習手法を提案する。 これにより、テスト時のオーディオ処理オーバーヘッドを回避しつつ、音声書き起こしを解析するための言語モデルが改善される。 本実験では, 従来の言語モデルに対して, 音声書き起こし解析のタスクにおいて一貫した改善が達成された。
  論文  参考訳（メタデータ） (2023-11-13T01:53:12Z)
• Unsupervised Pre-Training For Data-Efficient Text-to-Speech On Low Resource Languages [15.32264927462068]
  そこで本研究では,大容量の非転写音声データを利用したシーケンス・ツー・シーケンスTSモデルの教師なし事前学習手法を提案する。 主なアイデアは、歪んだものから切り離されたメル・スペクトログラムを再構築するモデルを事前訓練することである。 低リソース言語シナリオにおける提案手法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-03-28T01:26:00Z)
• AugGPT: Leveraging ChatGPT for Text Data Augmentation [59.76140039943385]
  本稿では,ChatGPT(AugGPT)に基づくテキストデータ拡張手法を提案する。 AugGPTはトレーニングサンプルの各文を、概念的には似ているが意味的に異なる複数のサンプルに言い換える。 数ショットの学習テキスト分類タスクの実験結果は、提案したAugGPTアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-02-25T06:58:16Z)
• Language Agnostic Data-Driven Inverse Text Normalization [6.43601166279978]
  逆テキスト正規化(ITN)問題は、様々な分野から研究者の注目を集めている。 ラベル付き音声によるデータセットが不足しているため、非英語のデータ駆動ITNの研究は非常に限られている。 このギャップを埋めるために、言語に依存しないデータ駆動ITNフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-20T10:33:03Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Visual Speech Recognition for Multiple Languages in the Wild [64.52593130370757]
  より優れたVSRモデルを設計することが、より大きなトレーニングセットを使用する上でも同様に重要であることを示す。 VSRモデルに予測に基づく補助タスクを追加することを提案する。 このようなモデルは、異なる言語で動作し、公開データセット上でトレーニングされたこれまでのすべてのメソッドを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2022-02-26T07:21:00Z)
• HUI-Audio-Corpus-German: A high quality TTS dataset [0.0]
  HUI-Audio-Corpus-German"は、TTSエンジン用の大規模なオープンソースデータセットで、処理パイプラインで作成されている。 このデータセットは、高品質なオーディオから書き起こしアライメントを生成し、作成に必要な手作業を減らす。
  論文  参考訳（メタデータ） (2021-06-11T10:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。