論文の概要: Data Augmentation for Training Dialog Models Robust to Speech Recognition Errors

• arxiv url: http://arxiv.org/abs/2006.05635v1
• Date: Wed, 10 Jun 2020 03:18:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:04:02.726103
• Title: Data Augmentation for Training Dialog Models Robust to Speech Recognition Errors
• Title（参考訳）: 音声認識誤りに頑健なダイアログモデルのトレーニングのためのデータ拡張
• Authors: Longshaokan Wang, Maryam Fazel-Zarandi, Aditya Tiwari, Spyros Matsoukas, Lazaros Polymenakos
• Abstract要約: Amazon Alexa、Google Assistant、Apple Siriなどの音声ベースのバーチャルアシスタントは、通常、ユーザーの音声信号を自動音声認識(ASR)を通じてテキストデータに変換する。 ASR出力はエラーを起こしやすいが、下流のダイアログモデルはしばしばエラーのないテキストデータに基づいて訓練され、推論時間中にASRエラーに敏感になる。 我々は、ASRエラーシミュレータを利用して、エラーのないテキストデータにノイズを注入し、その後、拡張データでダイアログモデルを訓練する。
• 参考スコア（独自算出の注目度）: 5.53506103787497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-based virtual assistants, such as Amazon Alexa, Google assistant, and Apple Siri, typically convert users' audio signals to text data through automatic speech recognition (ASR) and feed the text to downstream dialog models for natural language understanding and response generation. The ASR output is error-prone; however, the downstream dialog models are often trained on error-free text data, making them sensitive to ASR errors during inference time. To bridge the gap and make dialog models more robust to ASR errors, we leverage an ASR error simulator to inject noise into the error-free text data, and subsequently train the dialog models with the augmented data. Compared to other approaches for handling ASR errors, such as using ASR lattice or end-to-end methods, our data augmentation approach does not require any modification to the ASR or downstream dialog models; our approach also does not introduce any additional latency during inference time. We perform extensive experiments on benchmark data and show that our approach improves the performance of downstream dialog models in the presence of ASR errors, and it is particularly effective in the low-resource situations where there are constraints on model size or the training data is scarce.
• Abstract（参考訳）: Amazon Alexa、Google Assistant、Apple Siriなどの音声ベースのバーチャルアシスタントは、通常、ユーザーの音声信号を自動音声認識(ASR)を通じてテキストデータに変換し、自然言語理解と応答生成のための下流ダイアログモデルにテキストを供給します。 ASR出力はエラーを起こしやすいが、下流のダイアログモデルはしばしばエラーのないテキストデータに基づいて訓練され、推論時間中にASRエラーに敏感になる。 このギャップを埋めて、ASRエラーに対してより堅牢なダイアログモデルを構築するために、ASRエラーシミュレータを用いてエラーのないテキストデータにノイズを注入し、次に拡張データでダイアログモデルを訓練する。 ASR格子やエンドツーエンドメソッドなどの他のASRエラー処理手法と比較して、データ拡張アプローチでは、ASRや下流のダイアログモデルの変更は不要である。 我々は,ベンチマークデータに対する広範な実験を行い,ASRエラーが存在する場合の下流ダイアログモデルの性能向上を示すとともに,モデルサイズに制約がある場合やトレーニングデータが少ない場合の低リソース環境では特に有効であることを示す。

関連論文リスト

• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Keyword-Aware ASR Error Augmentation for Robust Dialogue State Tracking [17.96115263146684]
  本稿では,対話状態追跡モデルのロバスト性を改善するために,シンプルながら効果的なデータ拡張手法を提案する。 提案手法は,キーワードの誤りパターンを十分に生成し,雑音および低精度のASR環境における精度を向上させる。
  論文  参考訳（メタデータ） (2024-09-10T07:06:40Z)
• MEDSAGE: Enhancing Robustness of Medical Dialogue Summarization to ASR Errors with LLM-generated Synthetic Dialogues [41.23757609484281]
  音声認識エラーは、要約のような下流タスクのパフォーマンスを著しく低下させる可能性がある。 大規模言語モデルを用いたデータ拡張のための合成サンプル生成手法であるMEDSAGEを提案する。 LLMは、ASRノイズを効果的にモデル化することができ、このノイズデータをトレーニングプロセスに組み込むことで、医用対話要約システムの堅牢性と精度が大幅に向上する。
  論文  参考訳（メタデータ） (2024-08-26T17:04:00Z)
• Towards interfacing large language models with ASR systems using confidence measures and prompting [54.39667883394458]
  本研究では,大言語モデル(LLM)を用いたASRテキストのポストホック修正について検討する。 精度の高い転写文に誤りを導入することを避けるため,信頼度に基づくフィルタリング手法を提案する。 その結果,競争力の低いASRシステムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-07-31T08:00:41Z)
• Inclusive ASR for Disfluent Speech: Cascaded Large-Scale Self-Supervised Learning with Targeted Fine-Tuning and Data Augmentation [0.0]
  進歩への重要な障壁は、大きな注釈付き不適切な音声データセットの不足である。 本稿では,標準音声における自己教師型学習を応用した包括的ASR設計手法を提案する。 結果から,比較的小さなラベル付きデータセットによる微調整wav2vec 2.0とデータ拡張による単語誤り率の低減効果が示唆された。
  論文  参考訳（メタデータ） (2024-06-14T16:56:40Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• Advanced Long-context End-to-end Speech Recognition Using Context-expanded Transformers [56.56220390953412]
  コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。 拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
  論文  参考訳（メタデータ） (2021-04-19T16:18:00Z)
• An Approach to Improve Robustness of NLP Systems against ASR Errors [39.57253455717825]
  音声対応システムは通常、音声を自動音声認識モデルを介してテキストに変換し、テキストを下流の自然言語処理モジュールに供給します。 ASRシステムのエラーは、NLPモジュールの性能を著しく低下させる可能性がある。 これまでの研究では、トレーニングプロセス中にasrノイズを注入することにより、この問題を解決するためにデータ拡張手法を用いることが有効であることが示されている。
  論文  参考訳（メタデータ） (2021-03-25T05:15:43Z)
• Hallucination of speech recognition errors with sequence to sequence learning [16.39332236910586]
  プレーンテキストデータを使用して話し言葉理解やASRのためのシステムのトレーニングを行う場合、証明された戦略は、ASR出力が金の転写を与えるであろうものを幻覚することです。 本稿では,asr語列の幻覚的出力,入力語列の条件づけ,対応する音素列を直接予測する新しいエンドツーエンドモデルを提案する。 これにより、ドメイン内ASRシステムの未確認データの転写からのエラーのリコール、およびドメイン外ASRシステムの非関連タスクからのオーディオの転写の以前の結果が改善されます。
  論文  参考訳（メタデータ） (2021-03-23T02:09:39Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。