論文の概要: A Multitask Training Approach to Enhance Whisper with Contextual Biasing and Open-Vocabulary Keyword Spotting
- arxiv url: http://arxiv.org/abs/2309.09552v4
- Date: Thu, 6 Jun 2024 05:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-08 00:49:21.075821
- Title: A Multitask Training Approach to Enhance Whisper with Contextual Biasing and Open-Vocabulary Keyword Spotting
- Title（参考訳）: 文脈バイアスと開語彙キーワードスポッティングを用いたマルチタスク学習によるWhisperの強化
- Authors: Yuang Li, Min Zhang, Chang Su, Yinglu Li, Xiaosong Qiao, Mengxin Ren, Miaomiao Ma, Daimeng Wei, Shimin Tao, Hao Yang,
- Abstract要約: キーワードスポッティング強化Whisper(KWS-Whisper)を導入し,ユーザ定義された名前付きエンティティを認識する。
モデル最適化のために,OV-KWSとコンテキストASRタスクを学習するマルチタスク学習手法を提案する。
我々は,OV-KWS が ASR 誤り訂正法と凍結ウィスパーモデルを強化するためのプラグイン・アンド・プレイモジュールであることが実証された。
- 参考スコア（独自算出の注目度）: 14.713947276478647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recognition of rare named entities, such as personal names and terminologies, is challenging for automatic speech recognition (ASR) systems, especially when they are not frequently observed in the training data. In this paper, we introduce keyword spotting enhanced Whisper (KWS-Whisper), a novel ASR system that leverages the Whisper model and performs open-vocabulary keyword spotting (OV-KWS) on the hidden states of the Whisper encoder to recognize user-defined named entities. These entities serve as prompts for the Whisper decoder. To optimize the model, we propose a multitask training approach that learns OV-KWS and contextual-ASR tasks. We evaluate our approach on Chinese Aishell hot word subsets and two internal code-switching test sets and show that it significantly improves the entity recall compared to the original Whisper model. Moreover, we demonstrate that the OV-KWS can be a plug-and-play module to enhance the ASR error correction methods and frozen Whisper models.
- Abstract（参考訳）: 個人名や用語などの稀な名前付きエンティティの認識は、特にトレーニングデータで頻繁に観測されない場合、自動音声認識(ASR)システムでは困難である。
本稿では,Whisperモデルを利用した新しいASRシステムであるキーワードスポッティング拡張Whisper(KWS-Whisper)を提案する。
これらのエンティティは、Whisperデコーダのプロンプトとして機能する。
モデル最適化のために,OV-KWSとコンテキストASRタスクを学習するマルチタスク学習手法を提案する。
我々は,中国語Aishellホットワードサブセットと2つの内部コードスイッチングテストセットに対するアプローチを評価し,元のWhisperモデルと比較してエンティティリコールを大幅に改善したことを示す。
さらに,OV-KWS は ASR 誤り訂正法と凍結ウィスパーモデルを強化するためのプラグイン・アンド・プレイモジュールであることを示す。
関連論文リスト
- Keyword-Guided Adaptation of Automatic Speech Recognition [17.011087631073863]
本稿では,Whisper ベースモデルを用いた文脈バイアスによる単語認識の改良手法を提案する。
本稿では,Whisperエンコーダ表現を利用したキーワードスポッティングモデルを用いて,書き起こし処理中にデコーダを誘導するプロンプトを動的に生成する。
その結果,特定のキーワードの認識精度が向上し,全体的な単語誤り率の低減が図られた。
論文 参考訳（メタデータ） (2024-06-04T14:20:38Z) - Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。
過去の研究から,メモリ拡張型自動音声認識モデルを用いた。
提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-01-09T10:39:17Z) - Improved Contextual Recognition In Automatic Speech Recognition Systems
By Semantic Lattice Rescoring [4.819085609772069]
本稿では,意味的格子処理によるASRシステム内における文脈認識の高度化のための新しい手法を提案する。
提案手法は,隠れマルコフモデルとガウス混合モデル(HMM-GMM)とディープニューラルネットワーク(DNN)モデルを用いて,精度を向上する。
本稿では,実験分析によるLibriSpeechデータセット上でのフレームワークの有効性を示す。
論文 参考訳（メタデータ） (2023-10-14T23:16:05Z) - Open-vocabulary Keyword-spotting with Adaptive Instance Normalization [18.250276540068047]
本稿では,キーワード条件付き正規化パラメータを出力するためにテキストエンコーダを訓練するキーワードスポッティングの新しい手法であるAdaKWSを提案する。
近年のキーワードスポッティングやASRベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-09-13T13:49:42Z) - Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot
Task Generalization [61.60501633397704]
本稿では,最近提案されたWebスケール音声モデルのWhisperの創発的能力について検討する。
タスク固有のプロンプトを、別の大規模モデルを活用するか、あるいはデフォルトのプロンプトで特別なトークンを操作するだけで設計する。
実験の結果,提案手法は3つのゼロショットタスクで10%から45%向上し,SotAの教師付きモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-05-18T16:32:58Z) - Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。
教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。
特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
論文 参考訳（メタデータ） (2022-11-06T04:50:37Z) - Short-Term Word-Learning in a Dynamically Changing Environment [63.025297637716534]
本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識するためのメカニズムを用いて、エンドツーエンドのASRシステムを補完する方法を示す。
誤報がわずかに増加しただけで, 単語の検出速度が大幅に向上した。
論文 参考訳（メタデータ） (2022-03-29T10:05:39Z) - A Comparison of Methods for OOV-word Recognition on a New Public Dataset [0.0]
我々はCommonVoiceデータセットを用いて、語彙外比の高い言語のためのテストセットを作成することを提案する。
次に、ハイブリッドASRシステムのコンテキストにおいて、OOVの認識において、サブワードモデルがどの程度優れているかを評価する。
OOV単語をよりよく認識するために,サブワードベースの言語モデルを修正する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-07-16T19:39:30Z) - Instant One-Shot Word-Learning for Context-Specific Neural
Sequence-to-Sequence Speech Recognition [62.997667081978825]
本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識する機構を備えたエンドツーエンドのASRシステムを提案する。
本稿では,この機構により,これまで認識できなかった単語の85%以上を認識できることを示す。
論文 参考訳（メタデータ） (2021-07-05T21:08:34Z) - Speech Enhancement for Wake-Up-Word detection in Voice Assistants [60.103753056973815]
キースポッティング、特にWake-Up-Word(WUW)検出は音声アシスタントにとって非常に重要なタスクである。
本稿では,WUW検出に適応した音声強調モデルを提案する。
これらのノイズの存在下で、認識率を高め、誤報を減らすことを目的としている。
論文 参考訳（メタデータ） (2021-01-29T18:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。