論文の概要: CB-Whisper: Contextual Biasing Whisper using TTS-based Keyword Spotting

• arxiv url: http://arxiv.org/abs/2309.09552v1
• Date: Mon, 18 Sep 2023 08:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 14:31:20.787303
• Title: CB-Whisper: Contextual Biasing Whisper using TTS-based Keyword Spotting
• Title（参考訳）: CB-Whisper: TTSベースのキーワードスポッティングを用いたコンテキストバイザ・ウィスパー
• Authors: Yuang Li, Yinglu Li, Min Zhang, Chang Su, Mengyao Piao, Xiaosong Qiao, Jiawei Yu, Miaomiao Ma, Yanqing Zhao, Hao Yang
• Abstract要約: 本稿では,デコーダの前にキーワードスポッティングを行う新しいASRシステムであるContextual Biasing Whisper(CB-Whisper)を提案する。 実験により、予測されたエンティティを慎重に設計された音声プロンプトに組み込むことにより、Whisperモデルの混合エラーレート(MER)とエンティティリコールが大幅に改善されることが示されている。
• 参考スコア（独自算出の注目度）: 12.539368097870343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end automatic speech recognition (ASR) systems often struggle to recognize rare name entities, such as personal names, organizations, or technical terms that are not frequently encountered in the training data. This paper presents Contextual Biasing Whisper (CB-Whisper), a novel ASR system based on OpenAI's Whisper model that performs keyword-spotting (KWS) before the decoder. The KWS module leverages text-to-speech (TTS) techniques and a convolutional neural network (CNN) classifier to match the features between the entities and the utterances. Experiments demonstrate that by incorporating predicted entities into a carefully designed spoken form prompt, the mixed-error-rate (MER) and entity recall of the Whisper model is significantly improved on three internal datasets and two open-sourced datasets that cover English-only, Chinese-only, and code-switching scenarios.
• Abstract（参考訳）: エンド・ツー・エンドの自動音声認識(asr)システムは、トレーニングデータで頻繁に遭遇しない、個人名、組織、技術用語といった珍しい名前のエンティティを認識するのに苦労することが多い。 本稿では,OpenAIのWhisperモデルに基づく新しいASRシステムであるContextual Biasing Whisper(CB-Whisper)について述べる。 KWSモジュールは、テキスト音声(TTS)技術と畳み込みニューラルネットワーク(CNN)分類器を利用して、エンティティと発話の特徴を一致させる。 実験では、予測されたエンティティを慎重に設計された音声プロンプトに組み込むことで、Whisperモデルの混合エラーレート(MER)とエンティティリコールが、英語のみ、中国語のみ、コードスイッチングシナリオをカバーする3つの内部データセットと2つのオープンソースデータセットで大幅に改善されることを示した。

関連論文リスト

• Keyword-Guided Adaptation of Automatic Speech Recognition [17.011087631073863]
  本稿では,Whisper ベースモデルを用いた文脈バイアスによる単語認識の改良手法を提案する。 本稿では,Whisperエンコーダ表現を利用したキーワードスポッティングモデルを用いて,書き起こし処理中にデコーダを誘導するプロンプトを動的に生成する。 その結果,特定のキーワードの認識精度が向上し,全体的な単語誤り率の低減が図られた。
  論文  参考訳（メタデータ） (2024-06-04T14:20:38Z)
• Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
  本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。 過去の研究から,メモリ拡張型自動音声認識モデルを用いた。 提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-01-09T10:39:17Z)
• Improved Contextual Recognition In Automatic Speech Recognition Systems By Semantic Lattice Rescoring [4.819085609772069]
  本稿では,意味的格子処理によるASRシステム内における文脈認識の高度化のための新しい手法を提案する。 提案手法は,隠れマルコフモデルとガウス混合モデル(HMM-GMM)とディープニューラルネットワーク(DNN)モデルを用いて,精度を向上する。 本稿では,実験分析によるLibriSpeechデータセット上でのフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-14T23:16:05Z)
• Open-vocabulary Keyword-spotting with Adaptive Instance Normalization [18.250276540068047]
  本稿では,キーワード条件付き正規化パラメータを出力するためにテキストエンコーダを訓練するキーワードスポッティングの新しい手法であるAdaKWSを提案する。 近年のキーワードスポッティングやASRベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-09-13T13:49:42Z)
• Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot Task Generalization [61.60501633397704]
  本稿では,最近提案されたWebスケール音声モデルのWhisperの創発的能力について検討する。 タスク固有のプロンプトを、別の大規模モデルを活用するか、あるいはデフォルトのプロンプトで特別なトークンを操作するだけで設計する。 実験の結果,提案手法は3つのゼロショットタスクで10%から45%向上し,SotAの教師付きモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T16:32:58Z)
• Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
  この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。 教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。 特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
  論文  参考訳（メタデータ） (2022-11-06T04:50:37Z)
• Short-Term Word-Learning in a Dynamically Changing Environment [63.025297637716534]
  本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識するためのメカニズムを用いて、エンドツーエンドのASRシステムを補完する方法を示す。 誤報がわずかに増加しただけで, 単語の検出速度が大幅に向上した。
  論文  参考訳（メタデータ） (2022-03-29T10:05:39Z)
• A Comparison of Methods for OOV-word Recognition on a New Public Dataset [0.0]
  我々はCommonVoiceデータセットを用いて、語彙外比の高い言語のためのテストセットを作成することを提案する。 次に、ハイブリッドASRシステムのコンテキストにおいて、OOVの認識において、サブワードモデルがどの程度優れているかを評価する。 OOV単語をよりよく認識するために,サブワードベースの言語モデルを修正する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-07-16T19:39:30Z)
• Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition [62.997667081978825]
  本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識する機構を備えたエンドツーエンドのASRシステムを提案する。 本稿では,この機構により,これまで認識できなかった単語の85%以上を認識できることを示す。
  論文  参考訳（メタデータ） (2021-07-05T21:08:34Z)
• Speech Enhancement for Wake-Up-Word detection in Voice Assistants [60.103753056973815]
  キースポッティング、特にWake-Up-Word(WUW)検出は音声アシスタントにとって非常に重要なタスクである。 本稿では,WUW検出に適応した音声強調モデルを提案する。 これらのノイズの存在下で、認識率を高め、誤報を減らすことを目的としている。
  論文  参考訳（メタデータ） (2021-01-29T18:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。