論文の概要: Optimizing Contextual Speech Recognition Using Vector Quantization for Efficient Retrieval
- arxiv url: http://arxiv.org/abs/2411.00664v2
- Date: Mon, 04 Nov 2024 17:05:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:38:15.169291
- Title: Optimizing Contextual Speech Recognition Using Vector Quantization for Efficient Retrieval
- Title（参考訳）: ベクトル量子化を用いた効率的な検索のための文脈音声認識の最適化
- Authors: Nikolaos Flemotomos, Roger Hsiao, Pawel Swietojanski, Takaaki Hori, Dogan Can, Xiaodan Zhuang,
- Abstract要約: バイアス機構は典型的には、オーディオとバイアスのエントリのカタログの間のクロスアテンションモジュールに基づいている。
本研究では,ベクトル量子化に基づくクロスアテンションスコアリングに対する近似を提案する。
検索に基づくショートリスト化により,数千のエントリのバイアス付けカタログを効率よく活用できることを示す。
- 参考スコア（独自算出の注目度）: 18.333752341467083
- License:
- Abstract: Neural contextual biasing allows speech recognition models to leverage contextually relevant information, leading to improved transcription accuracy. However, the biasing mechanism is typically based on a cross-attention module between the audio and a catalogue of biasing entries, which means computational complexity can pose severe practical limitations on the size of the biasing catalogue and consequently on accuracy improvements. This work proposes an approximation to cross-attention scoring based on vector quantization and enables compute- and memory-efficient use of large biasing catalogues. We propose to use this technique jointly with a retrieval based contextual biasing approach. First, we use an efficient quantized retrieval module to shortlist biasing entries by grounding them on audio. Then we use retrieved entries for biasing. Since the proposed approach is agnostic to the biasing method, we investigate using full cross-attention, LLM prompting, and a combination of the two. We show that retrieval based shortlisting allows the system to efficiently leverage biasing catalogues of several thousands of entries, resulting in up to 71% relative error rate reduction in personal entity recognition. At the same time, the proposed approximation algorithm reduces compute time by 20% and memory usage by 85-95%, for lists of up to one million entries, when compared to standard dot-product cross-attention.
- Abstract（参考訳）: ニューラルな文脈バイアスにより、音声認識モデルは文脈に関連のある情報を活用することができ、それによって転写精度が向上する。
しかし、バイアスリング機構は通常、オーディオとバイアスリングエントリのカタログの相互アテンションモジュールに基づいており、計算複雑性はバイアスリングカタログのサイズに深刻な制約を課し、その結果精度が向上する。
本研究では,ベクトル量子化に基づくクロスアテンションスコアリングの近似を提案し,大規模バイアスカタログの計算・メモリ効率向上を実現する。
本稿では,この手法を検索に基づく文脈バイアス手法と併用することを提案する。
まず、効率的な量子化検索モジュールを用いて、音声をベースとしたバイアス入力をショートリスト化する。
次に、取得したエントリをバイアスに使用します。
提案手法はバイアス法とは無関係であるため, 完全交差注意法, LLMプロンプト法, および2つの組み合わせについて検討する。
検索に基づくショートリスト化により、数千のエントリの偏りカタログを効率よく活用でき、その結果、個人認識におけるエラー率を最大71%削減できることを示す。
同時に、提案アルゴリズムは、標準的なドット積のクロスアテンションと比較して最大100万個のエントリのリストに対して、計算時間を20%削減し、メモリ使用量を85～95%削減する。
関連論文リスト
- Beyond Levenshtein: Leveraging Multiple Algorithms for Robust Word Error Rate Computations And Granular Error Classifications [5.266869303483375]
単語誤り率(WER)は自動音声認識(ASR)の精度の一般的な尺度である
本稿では,ロバストな WER を計算するために,拡張Levenshtein 距離アルゴリズムを用いた非破壊的トークンベース手法を提案する。
我々はまた、句読点誤り率などの派生したユースケースの例分析や、実装のインタラクティブな使用と可視化のためのWebアプリケーションも提供する。
論文 参考訳（メタデータ） (2024-08-28T08:14:51Z) - Contextualized Automatic Speech Recognition with Attention-Based Bias
Phrase Boosted Beam Search [44.94458898538114]
本稿では、編集可能なフレーズリストを用いてカスタマイズ可能な、注意に基づくコンテキストバイアス手法を提案する。
提案手法は、入力音声データ中のバイアスフレーズを検出するために、バイアスフレーズインデックス損失と特別なトークンを組み合わせることで効果的に訓練することができる。
論文 参考訳（メタデータ） (2024-01-19T01:36:07Z) - Contextual Biasing with the Knuth-Morris-Pratt Matching Algorithm [45.42075576656938]
文脈バイアスとは、音声認識システムを希少な実体に偏り付ける問題を指す。
パターンマッチングのためのKnuth-Morris-Prattアルゴリズムに基づく文脈バイアスのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-29T22:50:10Z) - Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-27T16:30:27Z) - Robust Acoustic and Semantic Contextual Biasing in Neural Transducers
for Speech Recognition [14.744220870243932]
そこで本稿では,文脈バイアスを改善するために,軽量な文字表現を用いて微粒な発音特徴を符号化することを提案する。
さらに、事前学習されたニューラルネットワークモデル(NLM)をベースとしたエンコーダを統合し、発話の意味的文脈を符号化する。
Librispeechデータセット上のConformer Transducerモデルを用いた実験では、異なるバイアスリストサイズに対するWERの相対的な改善が4.62%から9.26%である。
論文 参考訳（メタデータ） (2023-05-09T08:51:44Z) - Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR
Decomposition [77.4863142882136]
クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。
本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
論文 参考訳（メタデータ） (2023-05-04T17:01:17Z) - End-to-end contextual asr based on posterior distribution adaptation for
hybrid ctc/attention system [61.148549738631814]
エンドツーエンド(E2E)音声認識アーキテクチャは、従来の音声認識システムのすべてのコンポーネントを単一のモデルに組み立てる。
これはASRシステムを単純化するが、文脈的ASRの欠点を導入している: E2Eモデルは、頻繁な固有名詞を含む発話に対して、より悪い性能を持つ。
本稿では,文脈的単語認識能力を向上させるために,文脈バイアスアテンション(CBA)モジュールをアテンションベースエンコーダデコーダ(AED)モデルに追加することを提案する。
論文 参考訳（メタデータ） (2022-02-18T03:26:02Z) - Approximate Nearest Neighbor Search under Neural Similarity Metric for
Large-Scale Recommendation [20.42993976179691]
本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。
我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。
提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
論文 参考訳（メタデータ） (2022-02-14T07:55:57Z) - Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。
本研究は,リコールにおける相異なるサロゲート損失を提案する。
提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-08-25T11:09:11Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳（メタデータ） (2021-04-05T21:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。