論文の概要: Crossmodal ASR Error Correction with Discrete Speech Units

• arxiv url: http://arxiv.org/abs/2405.16677v1
• Date: Sun, 26 May 2024 19:58:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 19:48:31.498899
• Title: Crossmodal ASR Error Correction with Discrete Speech Units
• Title（参考訳）: 離散音声ユニットを用いたクロスモーダルASR誤り訂正
• Authors: Yuanchao Li, Pinzhen Chen, Peter Bell, Catherine Lai,
• Abstract要約: ASR誤り訂正(AEC)に対するASR後処理手法を提案する。 我々は、事前学習と微調整の戦略を探求し、ASRドメインの不一致現象を明らかにする。 そこで本稿では,AEC品質向上のための単語埋め込みの整合・強化を目的とした,離散音声ユニットの組込みを提案する。
• 参考スコア（独自算出の注目度）: 16.58209270191005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ASR remains unsatisfactory in scenarios where the speaking style diverges from that used to train ASR systems, resulting in erroneous transcripts. To address this, ASR Error Correction (AEC), a post-ASR processing approach, is required. In this work, we tackle an understudied issue: the Low-Resource Out-of-Domain (LROOD) problem, by investigating crossmodal AEC on very limited downstream data with 1-best hypothesis transcription. We explore pre-training and fine-tuning strategies and uncover an ASR domain discrepancy phenomenon, shedding light on appropriate training schemes for LROOD data. Moreover, we propose the incorporation of discrete speech units to align with and enhance the word embeddings for improving AEC quality. Results from multiple corpora and several evaluation metrics demonstrate the feasibility and efficacy of our proposed AEC approach on LROOD data, as well as its generalizability and superiority on large-scale data. Finally, a study on speech emotion recognition confirms that our model produces ASR error-robust transcripts suitable for downstream applications.
• Abstract（参考訳）: ASRは、発話スタイルが、ASRシステムのトレーニングに使用されたものから分岐し、誤った書き起こしをもたらすシナリオで不満足なままである。 これを解決するには、ASR後の処理アプローチであるASRエラー補正(AEC)が必要である。 本研究は,低リソース・アウト・オブ・ドメイン(LROOD)問題である,低リソース・アウト・オブ・ドメイン(LROOD)問題に,低リソース・アウト・オブ・ドメイン(LROOD)問題として,低リソース・アウト・ド・ドメイン(LROOD)問題に対処するものである。 我々は、事前学習と微調整の戦略を探求し、LROODデータの適切なトレーニングスキームに光を当てて、ASRドメインの不一致現象を明らかにする。 さらに,AEC品質向上のための単語埋め込みの整合・強化を目的とした,離散音声ユニットの組込みを提案する。 複数のコーパスと複数の評価指標から,LROODデータに対する提案したAEC手法の有効性と有効性,および大規模データに対する一般化性および優越性を示した。 最後に、音声感情認識の研究により、我々のモデルが下流アプリケーションに適したASR誤り文書を生成することを確認した。

関連論文リスト

• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings [53.120885867427305]
  会議シナリオにおける話者分散自動音声認識(SA-ASR)の3つのアプローチを評価する。 WD-SOT法は平均話者依存文字誤り率(SD-CER)を10.7%削減する TS-ASRアプローチはFD-SOTアプローチよりも優れ、16.5%の相対的なSD-CER削減をもたらす。
  論文  参考訳（メタデータ） (2022-03-31T06:39:14Z)
• RED-ACE: Robust Error Detection for ASR using Confidence Embeddings [5.4693121539705984]
  ASRシステムの単語レベルの信頼度スコアをAEDの性能向上に活用することを提案する。 AEDモデルのエンコーダにASR Confidence Embeddingレイヤを追加し、信頼スコアと転写されたテキストをコンテキスト化された表現に共同でエンコードできるようにします。
  論文  参考訳（メタデータ） (2022-03-14T15:13:52Z)
• Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
  音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる ASR誤差はカスケード法における出力要約の品質に直接影響する。 本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
  論文  参考訳（メタデータ） (2021-11-16T03:00:29Z)
• Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition [71.96870151495536]
  低リソース音声コマンド認識(SCR)のための新しいAR手法を提案する。 ARプロシージャは、(対象領域から)音響信号を修正して、事前訓練されたSCRモデルを再利用することを目的としている。 提案したAR-SCRシステムについて,アラビア語,リトアニア語,マンダリン語を含む3つの低リソースSCRデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-10-08T05:07:35Z)
• An Approach to Improve Robustness of NLP Systems against ASR Errors [39.57253455717825]
  音声対応システムは通常、音声を自動音声認識モデルを介してテキストに変換し、テキストを下流の自然言語処理モジュールに供給します。 ASRシステムのエラーは、NLPモジュールの性能を著しく低下させる可能性がある。 これまでの研究では、トレーニングプロセス中にasrノイズを注入することにより、この問題を解決するためにデータ拡張手法を用いることが有効であることが示されている。
  論文  参考訳（メタデータ） (2021-03-25T05:15:43Z)
• Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks [10.723935272906461]
  近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。 GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。 提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
  論文  参考訳（メタデータ） (2021-03-10T17:40:48Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)
• ASR Error Correction and Domain Adaptation Using Machine Translation [32.27379508770736]
  機械翻訳によるASR誤り訂正のための領域適応手法を提案する。 Google ASR出力における単語誤り率の絶対的改善とBLEUスコアの4点絶対的改善を観察した。
  論文  参考訳（メタデータ） (2020-03-13T20:05:38Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。