論文の概要: Large Language Models are Efficient Learners of Noise-Robust Speech Recognition

• arxiv url: http://arxiv.org/abs/2401.10446v1
• Date: Fri, 19 Jan 2024 01:29:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 17:07:18.829352
• Title: Large Language Models are Efficient Learners of Noise-Robust Speech Recognition
• Title（参考訳）: 大規模言語モデルによる音声認識の効率的学習
• Authors: Yuchen Hu, Chen Chen, Chao-Han Huck Yang, Ruizhe Li, Chao Zhang, Pin-Yu Chen, EnSiong Chng
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
• 参考スコア（独自算出の注目度）: 65.95847272465124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have promoted generative error correction (GER) for automatic speech recognition (ASR), which leverages the rich linguistic knowledge and powerful reasoning ability of LLMs to improve recognition results. The latest work proposes a GER benchmark with HyPoradise dataset to learn the mapping from ASR N-best hypotheses to ground-truth transcription by efficient LLM finetuning, which shows great effectiveness but lacks specificity on noise-robust ASR. In this work, we extend the benchmark to noisy conditions and investigate if we can teach LLMs to perform denoising for GER just like what robust ASR do}, where one solution is introducing noise information as a conditioner into LLM. However, directly incorporating noise embeddings from audio encoder could harm the LLM tuning due to cross-modality gap. To this end, we propose to extract a language-space noise embedding from the N-best list to represent the noise conditions of source speech, which can promote the denoising process in GER. Furthermore, in order to enhance its representation ability of audio noise, we design a knowledge distillation (KD) approach via mutual information estimation to distill the real noise information in audio embeddings to our language embedding. Experiments on various latest LLMs demonstrate our approach achieves a new breakthrough with up to 53.9% correction improvement in terms of word error rate while with limited training data. Analysis shows that our language-space noise embedding can well represent the noise conditions of source speech, under which off-the-shelf LLMs show strong ability of language-space denoising.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、LLMの豊富な言語知識と強力な推論能力を活用して音声認識結果を改善する自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 最新の研究は、HyPoradiseデータセットを用いたGERベンチマークを提案し、効率的なLLM微調整により、ASR N-best仮説から基底構造転写へのマッピングを学習する。 本研究では,このベンチマークを雑音条件にまで拡張し,LLMに雑音情報を導入し,強靭なASRと同じように,GERの雑音処理をLLMに教えることができるかを検討する。 しかし、オーディオエンコーダからのノイズ埋め込みを直接組み込むことは、モード間ギャップによるLCMチューニングを損なう可能性がある。 そこで本研究では,GERにおける雑音処理を促進するため,N-bestリストから言語空間雑音を抽出し,音源音声の雑音条件を表現することを提案する。 さらに,音声雑音の表現能力を向上させるために,相互情報推定による知識蒸留(kd)手法を考案し,音声埋め込みにおける実雑音情報の抽出を行う。 最新の LLM 実験では,学習データに制限のある場合,単語誤り率を最大53.9% 補正することで,新たなブレークスルーを実現している。 分析の結果,本研究の言語空間雑音埋め込みは音源音声の雑音条件をよく表現できることがわかった。

関連論文リスト

• LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation [15.520180125182756]
  近年,大規模言語モデル(LLM)への音声情報統合の進歩により,音声認識(ASR)の精度が大幅に向上した。 既存の手法はアクセントのような様々な音響条件下での音声エンコーダの能力に制約されることが多い。 LA-RAGは、LLMベースのASRのための新しいRAGパラダイムである。
  論文  参考訳（メタデータ） (2024-09-13T07:28:47Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study [0.0]
  本稿では,Large Language Models (LLM) と自動音声認識(ASR)システムの統合について検討する。 我々の主な焦点は、LLMのコンテキスト内学習機能を用いて、ASRシステムの性能を向上させる可能性を調査することである。
  論文  参考訳（メタデータ） (2023-07-13T02:31:55Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• An Approach to Improve Robustness of NLP Systems against ASR Errors [39.57253455717825]
  音声対応システムは通常、音声を自動音声認識モデルを介してテキストに変換し、テキストを下流の自然言語処理モジュールに供給します。 ASRシステムのエラーは、NLPモジュールの性能を著しく低下させる可能性がある。 これまでの研究では、トレーニングプロセス中にasrノイズを注入することにより、この問題を解決するためにデータ拡張手法を用いることが有効であることが示されている。
  論文  参考訳（メタデータ） (2021-03-25T05:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。