論文の概要: Listen Again and Choose the Right Answer: A New Paradigm for Automatic Speech Recognition with Large Language Models

• arxiv url: http://arxiv.org/abs/2405.10025v1
• Date: Thu, 16 May 2024 12:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 14:22:13.238092
• Title: Listen Again and Choose the Right Answer: A New Paradigm for Automatic Speech Recognition with Large Language Models
• Title（参考訳）: 再度聞き取り, 正しい答えを選択する: 大規模言語モデルを用いた音声認識のための新しいパラダイム
• Authors: Yuchen Hu, Chen Chen, Chengwei Qin, Qiushi Zhu, Eng Siong Chng, Ruizhe Li,
• Abstract要約: 大言語モデル(LLM)は自動音声認識(ASR)のための生成誤り訂正(GER)を促進した 本稿では,ASR生成誤り訂正のための新しいパラダイムであるClozeGERを提案する。
• 参考スコア（独自算出の注目度）: 41.997517537042434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have promoted generative error correction (GER) for automatic speech recognition (ASR), which aims to predict the ground-truth transcription from the decoded N-best hypotheses. Thanks to the strong language generation ability of LLMs and rich information in the N-best list, GER shows great effectiveness in enhancing ASR results. However, it still suffers from two limitations: 1) LLMs are unaware of the source speech during GER, which may lead to results that are grammatically correct but violate the source speech content, 2) N-best hypotheses usually only vary in a few tokens, making it redundant to send all of them for GER, which could confuse LLM about which tokens to focus on and thus lead to increased miscorrection. In this paper, we propose ClozeGER, a new paradigm for ASR generative error correction. First, we introduce a multimodal LLM (i.e., SpeechGPT) to receive source speech as extra input to improve the fidelity of correction output. Then, we reformat GER as a cloze test with logits calibration to remove the input information redundancy and simplify GER with clear instructions. Experiments show that ClozeGER achieves a new breakthrough over vanilla GER on 9 popular ASR datasets.
• Abstract（参考訳）: 大規模言語モデル (LLM) の最近の進歩は, 自動音声認識 (ASR) のための生成誤り訂正 (GER) を推進し, 復号されたN-best仮説から基底構造転写を予測することを目的としている。 LLMの強い言語生成能力とN-bestリストの豊富な情報のおかげで、GERはASR結果の強化に大きな効果を示す。 しかし、それはまだ2つの制限に悩まされている。 1) LLM は GER 中の元音声を意識せず, 文法的に正しいが元音声の内容に反する結果をもたらす可能性がある。 2) N-best仮説は、通常、いくつかのトークンでのみ異なるため、すべてのトークンをGERに送信することは冗長である。 本稿では,ASR生成誤り訂正のための新しいパラダイムであるClozeGERを提案する。 まず、補正出力の忠実度を改善するために、ソース音声を付加入力として受信するマルチモーダルLLM(SpeechGPT)を導入する。 そして、GERをロジット校正によるクローゼテストとして再構築し、入力情報の冗長性を除去し、明確な指示でGERを単純化する。 実験によると、ClozeGERは9つの人気のあるASRデータセット上で、バニラGERに対する新たなブレークスルーを達成する。

関連論文リスト

• Benchmarking Japanese Speech Recognition on ASR-LLM Setups with Multi-Pass Augmented Generative Error Correction [34.32834323898953]
  自動音声認識(ASR)のための生成誤り訂正(GER)は、ASRの誤りに対処するための意味的および音声学的改善を提供することを目的としている。 本研究では,LLMをベースとしたGERが日本語処理能力の強化と拡張を実現し,0.9-2.6kテキスト発声による日本語ASRのGERベンチマークを初めて提示する。 また、入力側で複数のシステム仮説を統合し、出力側で複数のLSMを補正し、それらをマージすることで、新しいマルチパス拡張生成誤差補正(MPA GER)を導入する。
  論文  参考訳（メタデータ） (2024-08-29T00:18:12Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Leveraging Large Language Models for Exploiting ASR Uncertainty [16.740712975166407]
  大規模な言語モデルは、書き起こしのための既製の音声認識システムに依存するか、あるいは内蔵された音声モダリティを備える必要がある。 我々は,高い単語誤り率でLLMの発話意図を理解する能力を制限する音声意図分類タスクに取り組む。 我々は,誤り発生1-best仮説に代えて,ASR仮説のn-bestリストでLLMを推し進めることを提案する。
  論文  参考訳（メタデータ） (2023-09-09T17:02:33Z)
• Can Generative Large Language Models Perform ASR Error Correction? [16.246481696611117]
  生成型大規模言語モデル(LLM)は、幅広い自然言語処理タスクに適用されている。 本稿では, ASR 誤り訂正のための生成 LLM である ChatGPT を用いて検討する。 実験により、このジェネレーティブLLMアプローチは、2つの異なる最先端のASRアーキテクチャの性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-09T13:38:25Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。