論文の概要: SYN2REAL: Leveraging Task Arithmetic for Mitigating Synthetic-Real Discrepancies in ASR Domain Adaptation

• arxiv url: http://arxiv.org/abs/2406.02925v1
• Date: Wed, 5 Jun 2024 04:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:59:32.900073
• Title: SYN2REAL: Leveraging Task Arithmetic for Mitigating Synthetic-Real Discrepancies in ASR Domain Adaptation
• Title（参考訳）: Syn2REAL: ASRドメイン適応における相違点の緩和のためのタスク算術の活用
• Authors: Hsuan Su, Hua Farn, Shang-Tse Chen, Hung-yi Lee,
• Abstract要約: 本稿では,自動音声認識(ASR)における領域適応のための新しい「SYN2REAL」タスクベクトルを提案する。 この問題に対処するために、実音声と合成音声で微調整されたモデル間のパラメータ差を減じて「SYN2REAL」ベクトルを作成することを提案する。 SLURPデータセットを用いた実験により, 対象ドメインに対する単語誤り率の平均は11.15%向上した。
• 参考スコア（独自算出の注目度）: 46.107756831743195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) have introduced the 'task vector' concept, which has significantly impacted various domains but remains underexplored in speech recognition. This paper presents a novel 'SYN2REAL' task vector for domain adaptation in automatic speech recognition (ASR), specifically targeting text-only domains. Traditional fine-tuning on synthetic speech often results in performance degradation due to acoustic mismatches. To address this issue, we propose creating a 'SYN2REAL' vector by subtracting the parameter differences between models fine-tuned on real and synthetic speech. This vector effectively bridges the gap between the two domains. Experiments on the SLURP dataset demonstrate that our approach yields an average improvement of 11.15% in word error rate for unseen target domains, highlighting the potential of task vectors in enhancing speech domain adaptation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は「タスクベクトル」の概念を導入している。 本稿では,テキストのみを対象とした自動音声認識(ASR)における領域適応のための新しいタスクベクトル「SYN2REAL」を提案する。 従来の合成音声の微調整は、しばしば音響ミスマッチによる性能劣化をもたらす。 この問題に対処するために、実音声と合成音声で微調整されたモデル間のパラメータ差を減じて「SYN2REAL」ベクトルを作成することを提案する。 このベクトルは2つの領域間のギャップを効果的に埋める。 SLURPデータセットを用いた実験により,提案手法は未確認対象領域に対する単語誤り率を平均11.15%向上させ,音声領域適応性向上におけるタスクベクトルの可能性を強調した。

関連論文リスト

• On the Relevance of Phoneme Duration Variability of Synthesized Training Data for Automatic Speech Recognition [0.552480439325792]
  合成データの時間構造とASRトレーニングとの関係に着目した。 本研究では, 合成データ品質の劣化が, 非自己回帰性TSの持続時間モデルにどの程度影響されているかを示す。 簡単なアルゴリズムを用いて,TTSシステムの音素持続時間分布を実時間に近づける。
  論文  参考訳（メタデータ） (2023-10-12T08:45:21Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation [67.98338382984556]
  音声とテキストの2つのモダリティを共有表現空間にマッピングすることは、テキストのみのデータを用いて、新しいドメインにおけるエンドツーエンドの自動音声認識(ASR)の性能を改善する研究トピックである。 本稿では,テキストのモダリティに合わせるために,ダウンサンプリング音響表現を用いた新しい表現手法を提案する。 我々のASRモデルは、両方のモダリティから統一表現をよりよく学習することができ、ターゲットドメインのテキストのみのデータを用いたドメイン適応を可能にします。
  論文  参考訳（メタデータ） (2023-09-04T08:52:59Z)
• Using External Off-Policy Speech-To-Text Mappings in Contextual End-To-End Automated Speech Recognition [19.489794740679024]
  本稿では,外部知識の活用の可能性について検討する。 提案手法では,音声の音声埋め込みと意味的テキスト埋め込みを併用して,ASRに偏りを生じさせる。 LibiriSpeechと社内音声アシスタント/検索データセットの実験により、提案手法により、最大1KのGPU時間でドメイン適応時間を短縮できることが示された。
  論文  参考訳（メタデータ） (2023-01-06T22:32:50Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• A Simple Baseline for Domain Adaptation in End to End ASR Systems Using Synthetic Data [1.14219428942199]
  エンドツーエンド音声認識モデルにおけるドメイン適応のための簡単なベースライン手法を提案する。 テキストのみのコーパスを単一話者テキスト音声(TTS)エンジンを用いて音声データに変換する。 単一話者合成TTSデータと最終密度層を結合した微調整が単語誤り率の合理的な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-06-22T12:07:38Z)
• Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition [18.924716098922683]
  合成データによる機械学習は、合成データと実際のデータ分布のギャップのため、簡単ではない。 本稿では,分散ギャップに起因する問題を緩和するために,トレーニング中の2つの新しい手法を提案する。 これらの手法は,合成データを用いた音声認識モデルの訓練を著しく改善することを示す。
  論文  参考訳（メタデータ） (2021-10-21T21:11:42Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。