論文の概要: Task Arithmetic can Mitigate Synthetic-to-Real Gap in Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2406.02925v2
• Date: Sat, 15 Jun 2024 15:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 02:10:30.479930
• Title: Task Arithmetic can Mitigate Synthetic-to-Real Gap in Automatic Speech Recognition
• Title（参考訳）: タスク算術は自動音声認識における合成対リアルギャップを緩和できる
• Authors: Hsuan Su, Hua Farn, Fan-Yun Sun, Shang-Tse Chen, Hung-yi Lee,
• Abstract要約: タスクベクトル算術は音声認識における合成と現実のギャップを軽減するのに有効であることを示す。 提案手法であるSyn2REALは,ベースラインよりも単語誤り率を平均10.03%改善することを示す。
• 参考スコア（独自算出の注目度）: 44.914084799875866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data is widely used in speech recognition due to the availability of text-to-speech models, which facilitate adapting models to previously unseen text domains. However, existing methods suffer in performance when they fine-tune an automatic speech recognition (ASR) model on synthetic data as they suffer from the distributional shift commonly referred to as the synthetic-to-real gap. In this paper, we find that task vector arithmetic is effective at mitigating this gap. Our proposed method, SYN2REAL task vector, shows an average improvement of 10.03\% improvement in word error rate over baselines on the SLURP dataset. Additionally, we show that an average of SYN2REAL task vectors, when we have real speeches from multiple different domains, can further adapt the original ASR model to perform better on the target text domain.
• Abstract（参考訳）: 合成データは、これまで見つからなかったテキストドメインへの適応モデルを容易にするテキスト音声モデルの可用性のため、音声認識に広く利用されている。 しかし,既存の手法では,合成データに自動音声認識モデル(ASR)を微調整する場合は,合成と現実のギャップと呼ばれる分布シフトに悩まされる。 本稿では,このギャップを緩和するタスクベクトル算術が有効であることを示す。 提案手法であるSyn2REALタスクベクトルは,SLURPデータセットをベースラインとした単語誤り率の平均10.03\%の改善を示す。 さらに、Syn2REALタスクベクトルの平均は、複数の異なるドメインから実際の音声を受信すると、元のASRモデルにさらに適応して、ターゲットのテキスト領域でより良い処理を行うことができることを示す。

関連論文リスト

• On the Relevance of Phoneme Duration Variability of Synthesized Training Data for Automatic Speech Recognition [0.552480439325792]
  合成データの時間構造とASRトレーニングとの関係に着目した。 本研究では, 合成データ品質の劣化が, 非自己回帰性TSの持続時間モデルにどの程度影響されているかを示す。 簡単なアルゴリズムを用いて,TTSシステムの音素持続時間分布を実時間に近づける。
  論文  参考訳（メタデータ） (2023-10-12T08:45:21Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation [67.98338382984556]
  音声とテキストの2つのモダリティを共有表現空間にマッピングすることは、テキストのみのデータを用いて、新しいドメインにおけるエンドツーエンドの自動音声認識(ASR)の性能を改善する研究トピックである。 本稿では,テキストのモダリティに合わせるために,ダウンサンプリング音響表現を用いた新しい表現手法を提案する。 我々のASRモデルは、両方のモダリティから統一表現をよりよく学習することができ、ターゲットドメインのテキストのみのデータを用いたドメイン適応を可能にします。
  論文  参考訳（メタデータ） (2023-09-04T08:52:59Z)
• Using External Off-Policy Speech-To-Text Mappings in Contextual End-To-End Automated Speech Recognition [19.489794740679024]
  本稿では,外部知識の活用の可能性について検討する。 提案手法では,音声の音声埋め込みと意味的テキスト埋め込みを併用して,ASRに偏りを生じさせる。 LibiriSpeechと社内音声アシスタント/検索データセットの実験により、提案手法により、最大1KのGPU時間でドメイン適応時間を短縮できることが示された。
  論文  参考訳（メタデータ） (2023-01-06T22:32:50Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• A Simple Baseline for Domain Adaptation in End to End ASR Systems Using Synthetic Data [1.14219428942199]
  エンドツーエンド音声認識モデルにおけるドメイン適応のための簡単なベースライン手法を提案する。 テキストのみのコーパスを単一話者テキスト音声(TTS)エンジンを用いて音声データに変換する。 単一話者合成TTSデータと最終密度層を結合した微調整が単語誤り率の合理的な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-06-22T12:07:38Z)
• Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition [18.924716098922683]
  合成データによる機械学習は、合成データと実際のデータ分布のギャップのため、簡単ではない。 本稿では,分散ギャップに起因する問題を緩和するために,トレーニング中の2つの新しい手法を提案する。 これらの手法は,合成データを用いた音声認識モデルの訓練を著しく改善することを示す。
  論文  参考訳（メタデータ） (2021-10-21T21:11:42Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。