論文の概要: CTC-Assisted LLM-Based Contextual ASR

• arxiv url: http://arxiv.org/abs/2411.06437v1
• Date: Sun, 10 Nov 2024 11:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:42.558707
• Title: CTC-Assisted LLM-Based Contextual ASR
• Title（参考訳）: CTC-Assisted LLM-based Contextual ASR
• Authors: Guanrou Yang, Ziyang Ma, Zhifu Gao, Shiliang Zhang, Xie Chen,
• Abstract要約: 効率的なフィルタリングアルゴリズムを用いたCTC支援LLM型コンテキストASRモデルを提案する。 我々のモデルは、稀に長い尾の単語を認識することを目的とした、Librispeechテストクリーンおよびテストサブセットにおいて1.27%/3.67%のWER/B-WERと2.72%/8.02%のWERを達成している。
• 参考スコア（独自算出の注目度）: 40.6542391788212
• License:
• Abstract: Contextual ASR or hotword customization holds substantial practical value. Despite the impressive performance of current end-to-end (E2E) automatic speech recognition (ASR) systems, they often face challenges in accurately recognizing rare words. Typical E2E contextual ASR models commonly feature complex architectures and decoding mechanisms, limited in performance and susceptible to interference from distractor words. With large language model (LLM)-based ASR models emerging as the new mainstream, we propose a CTC-Assisted LLM-Based Contextual ASR model with an efficient filtering algorithm. By using coarse CTC decoding results to filter potential relevant hotwords and incorporating them into LLM prompt input, our model attains WER/B-WER of 1.27%/3.67% and 2.72%/8.02% on the Librispeech test-clean and test-other sets targeting on recognizing rare long-tail words, demonstrating significant improvements compared to the baseline LLM-based ASR model, and substantially surpassing other related work. More remarkably, with the help of the large language model and proposed filtering algorithm, our contextual ASR model still performs well with 2000 biasing words.
• Abstract（参考訳）: 文脈的ASRやホットワードのカスタマイズは、実質的な価値を持っている。 現在のエンドツーエンド(E2E)自動音声認識(ASR)システムの印象的な性能にもかかわらず、しばしば稀な単語を正確に認識する際の課題に直面している。 典型的なE2Eコンテキスト型ASRモデルは、一般的に複雑なアーキテクチャと復号化機構を備えており、性能に制限があり、混乱した単語からの干渉を受けやすい。 大規模言語モデル (LLM) に基づく ASR モデルを主流として, 効率的なフィルタリングアルゴリズムを用いた CTC 支援 LLM ベースの Contextual ASR モデルを提案する。 粗いCTCデコーディング結果を用いて、潜在的ホットワードをフィルタリングし、LLMプロンプト入力に組み込むことで、LLMベースのASRモデルと比較して大幅に改善され、他の関連する作業よりも大幅に上回った、リブリスペーチテストクリーンおよびテストサブセットにおいて、WER/B-WERの1.27%/3.67%、および2.72%/8.02%の精度を実現した。 さらに、大規模言語モデルとフィルタリングアルゴリズムの助けを借りて、我々の文脈的ASRモデルは、2000の偏りのある単語でうまく機能する。

関連論文リスト

• Large Language Models Are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法の評価を行い,WERが0.81%,0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Advancing Multi-talker ASR Performance with Large Language Models [48.52252970956368]
  対話シナリオにおける複数話者からの重複音声認識は、音声認識(ASR)において最も難しい問題の一つである。 本稿では,事前学習した音声エンコーダとLLMを利用したマルチストーカーASRのためのSOTアプローチを提案する。 提案手法は,シミュレーションデータセットLibriMixにおける従来のAEDに基づく手法を超越し,実世界のデータセットAMIの評価セット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-08-30T17:29:25Z)
• Connecting Speech Encoder and Large Language Model for ASR [25.660343393359565]
  大規模言語モデル(LLM)の印象的な能力と汎用性は、音声認識(ASR)において注目を集めている。 本稿では,完全連結層,マルチヘッドクロスアテンション,Q-Formerを含むコネクタとしてよく使用される3つの構造について比較検討する。 一般的に使用されているLibriSpeech、Common Voice、GigaSpeechデータセットで実験が行われた。
  論文  参考訳（メタデータ） (2023-09-25T08:57:07Z)
• Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation [83.36685075570232]
  本研究は,ASRフロントエンドとしての残響・雑音・残響シナリオにおける音声分離に関する洞察に富んだ研究である。 我々は,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。 TF-GridNetベースの複素スペクトルマッピングとWavLMベースのSSLRを併用することで、残響WHAMRテストセットにおいて2.5%のワードエラー率が得られる。
  論文  参考訳（メタデータ） (2023-07-23T05:39:39Z)
• A Lexical-aware Non-autoregressive Transformer-based ASR Model [9.500518278458905]
  本稿では,音響エンコーダ,音声テキスト共有エンコーダ,音声テキスト共有デコーダで構成される,語彙対応非自己回帰トランスフォーマベース(LA-NAT)ASRフレームワークを提案する。 LA-NATは,語彙情報をASRモデルに認識させることを目的としており,学習した言語知識を活用することにより,より良い結果が得られることが期待されている。
  論文  参考訳（メタデータ） (2023-05-18T09:50:47Z)
• Heterogeneous Reservoir Computing Models for Persian Speech Recognition [0.0]
  Reservoir Computing Model (RC)モデルは、トレーニングに安価であること、パラメータが大幅に少なく、創発的なハードウェア技術と互換性があることが証明されている。 異なるスケールで時間的コンテキストをキャプチャする入力の非線形変換を生成するために、異種単層および多層ESNを提案する。
  論文  参考訳（メタデータ） (2022-05-25T09:15:15Z)
• SRU++: Pioneering Fast Recurrence with Attention for Speech Recognition [49.42625022146008]
  複数のASRベンチマークでコンフォーマーと比較することにより,SRU++をASRタスクに適用する利点を示す。 具体的には,SRU++ が長文音声入力において Conformer を追い越すことができる。
  論文  参考訳（メタデータ） (2021-10-11T19:23:50Z)
• Multi-task Language Modeling for Improving Speech Recognition of Rare Words [14.745696312889763]
  音声認識性能を向上させるために,意図やスロット予測などのセマンティックターゲットを利用するマルチタスク学習を用いた第2パスシステムを提案する。 マルチタスク LM を用いた ASR システムは,レアワード認識のための RNN Transducer のみの ASR ベースラインと比較して,4.6% の WERR 推論を示す。
  論文  参考訳（メタデータ） (2020-11-23T20:40:44Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。