論文の概要: An efficient text augmentation approach for contextualized Mandarin speech recognition

• arxiv url: http://arxiv.org/abs/2406.09950v1
• Date: Fri, 14 Jun 2024 11:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 13:55:15.684200
• Title: An efficient text augmentation approach for contextualized Mandarin speech recognition
• Title（参考訳）: 文脈化マンダリン音声認識のための効率的なテキスト強調手法
• Authors: Naijun Zheng, Xucheng Wan, Kai Liu, Ziqing Du, Zhou Huan,
• Abstract要約: 本研究は、テキストのみのデータセットを活用し、事前学習されたASRモデルを文脈化することを提案する。 事前学習したCIFベースのASRを文脈化するために,限られた音声テキストデータを用いたコードブックを構築した。 多様なマンダリンテストセットに対する実験により,我々のTAアプローチは認識性能を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 4.600045052545344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although contextualized automatic speech recognition (ASR) systems are commonly used to improve the recognition of uncommon words, their effectiveness is hindered by the inherent limitations of speech-text data availability. To address this challenge, our study proposes to leverage extensive text-only datasets and contextualize pre-trained ASR models using a straightforward text-augmentation (TA) technique, all while keeping computational costs minimal. In particular, to contextualize a pre-trained CIF-based ASR, we construct a codebook using limited speech-text data. By utilizing a simple codebook lookup process, we convert available text-only data into latent text embeddings. These embeddings then enhance the inputs for the contextualized ASR. Our experiments on diverse Mandarin test sets demonstrate that our TA approach significantly boosts recognition performance. The top-performing system shows relative CER improvements of up to 30% on rare words and 15% across all words in general.
• Abstract（参考訳）: 文脈適応型自動音声認識(ASR)システムは、一般的でない単語の認識を改善するために一般的に用いられているが、その有効性は、音声テキストデータ可用性の固有の制限によって妨げられている。 この課題に対処するため,本研究では,計算コストを最小限に抑えつつ,テキストのみのデータセットを活用し,簡単なテキスト拡張(TA)技術を用いて事前学習されたASRモデルを文脈化することを提案する。 特に、事前学習したCIFベースのASRを文脈化するために、限られた音声テキストデータを用いてコードブックを構築する。 簡単なコードブックのルックアッププロセスを利用することで、利用可能なテキストのみのデータを遅延テキスト埋め込みに変換する。 これらの埋め込みは、コンテキスト化されたASRの入力を強化する。 多様なマンダリンテストセットに対する実験により,我々のTAアプローチは認識性能を著しく向上させることが示された。 トップパフォーマンスシステムでは、レアワードで最大30%、全単語で15%の相対的なCER改善がなされている。

関連論文リスト

• Grammar Induction from Visual, Speech and Text [91.98797120799227]
  本研究は、新しい視覚音声テキスト文法誘導タスク(textbfVAT-GI)を導入する。 言語文法がテキストを超えて存在するという事実に触発されて、テキストは文法帰納において支配的なモダリティであってはならないと論じる。 そこで本稿では,豊富なモーダル特化機能と補完機能を有効文法解析に活用した,ビジュアル・オーディオ・テキスト・インサイド・アウトサイド・オートエンコーダ(textbfVaTiora)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-01T02:24:18Z)
• Learning Robust Named Entity Recognizers From Noisy Data With Retrieval Augmentation [67.89838237013078]
  名前付きエンティティ認識(NER)モデルは、しばしばノイズの多い入力に悩まされる。 ノイズの多いテキストとそのNERラベルのみを利用できる、より現実的な設定を提案する。 我々は、推論中にテキストを取得することなく、堅牢なNERを改善するマルチビュートレーニングフレームワークを採用している。
  論文  参考訳（メタデータ） (2024-07-26T07:30:41Z)
• Pronunciation Assessment with Multi-modal Large Language Models [10.35401596425946]
  大規模言語モデル(LLM)に基づくスコアリングシステムを提案する。 音声エンコーダは、まず学習者の音声を文脈的特徴にマッピングする。 アダプタ層は、これらの機能を潜在空間に埋め込まれたテキストに合わせるように変換する。
  論文  参考訳（メタデータ） (2024-07-12T12:16:14Z)
• Speech Emotion Recognition with ASR Transcripts: A Comprehensive Study on Word Error Rate and Fusion Techniques [17.166092544686553]
  本研究では,3つのよく知られたコーパス上の11種類のモデルから,単語誤り率(WER)の異なるASR文字を用いた音声感情認識のベンチマークを行った。 本稿では, ASR 誤り訂正とモダリティゲート融合を統合した ASR 誤り処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:59:25Z)
• Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
  本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。 シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。 実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
  論文  参考訳（メタデータ） (2024-02-27T01:57:09Z)
• End-to-End Speech Recognition Contextualization with Large Language Models [25.198480789044346]
  本稿では,Large Language Models (LLM) を取り入れた音声認識モデルの文脈化手法を提案する。 音声機能とコンテクスト用のオプションテキストトークンを提供し、デコーダのみの方法でシステムに書き起こしを訓練する。 実験の結果,追加のテキストコンテキストが提供されると,WERが6%削減され,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-09-19T20:28:57Z)
• Boosting Punctuation Restoration with Data Generation and Reinforcement Learning [70.26450819702728]
  触覚回復は自動音声認識(ASR)における重要な課題である テキストの句読点とASRテキストとの相違は、ASRテキストの句読点復元システムのトレーニングにおいて、テキストのユーザビリティを制限している。 本稿では,このギャップを埋めるために,話題内テキストを活用した強化学習手法と大規模事前学習型生成言語モデルの最近の進歩を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:22:04Z)
• Looking and Listening: Audio Guided Text Recognition [62.98768236858089]
  野生におけるテキスト認識は、コンピュータビジョンにおける長年の問題である。 近年の研究では、視覚と言語処理がシーンテキスト認識に有効であることが示唆されている。 しかし、既存のアプローチでは、追加、削除、置換といった編集エラーの解決が依然として大きな課題である。 本稿では,メルスペクトル列予測のためのシンプルで効果的な確率的オーディオデコーダであるAudioOCRを提案する。
  論文  参考訳（メタデータ） (2023-06-06T08:08:18Z)
• Text-Aware End-to-end Mispronunciation Detection and Diagnosis [17.286013739453796]
  誤認識検出・診断(MDD)技術はコンピュータ支援発音訓練システム(CAPT)の鍵となる要素である 本稿では,関係のないテキスト情報を抑えつつ,関連する音声特徴をより重要視するゲーティング戦略を提案する。
  論文  参考訳（メタデータ） (2022-06-15T04:08:10Z)
• Implicit Feature Alignment: Learn to Convert Text Recognizer to Text Spotter [38.4211220941874]
  我々はIFA(Implicit Feature Alignment)と呼ばれるシンプルでエレガントで効果的なパラダイムを提案する。 IFAは、現在のテキスト認識器に容易に統合でき、その結果、IFA推論と呼ばれる新しい推論機構が生まれる。 IFAは、エンドツーエンドの文書認識タスクにおいて最先端のパフォーマンスを達成することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-10T17:06:28Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。