論文の概要: Robust ASR Error Correction with Conservative Data Filtering

• arxiv url: http://arxiv.org/abs/2407.13300v2
• Date: Wed, 16 Oct 2024 14:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 20:14:30.323660
• Title: Robust ASR Error Correction with Conservative Data Filtering
• Title（参考訳）: 保守的データフィルタリングを用いたロバストASR誤差補正
• Authors: Takuma Udagawa, Masayuki Suzuki, Masayasu Muraoka, Gakuto Kurata,
• Abstract要約: 大規模言語モデルに基づく誤り訂正(EC)は,自動音声認識(ASR)システムの性能を向上させる新しい技術である。 本稿では,ECトレーニングデータが満足すべき2つの基本的な基準を提案する。 低品質のECペアを特定し、そのようなケースでは修正を行わないようにモデルを訓練する。
• 参考スコア（独自算出の注目度）: 15.833428810891427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Error correction (EC) based on large language models is an emerging technology to enhance the performance of automatic speech recognition (ASR) systems. Generally, training data for EC are collected by automatically pairing a large set of ASR hypotheses (as sources) and their gold references (as targets). However, the quality of such pairs is not guaranteed, and we observed various types of noise which can make the EC models brittle, e.g. inducing overcorrection in out-of-domain (OOD) settings. In this work, we propose two fundamental criteria that EC training data should satisfy: namely, EC targets should (1) improve linguistic acceptability over sources and (2) be inferable from the available context (e.g. source phonemes). Through these criteria, we identify low-quality EC pairs and train the models not to make any correction in such cases, the process we refer to as conservative data filtering. In our experiments, we focus on Japanese ASR using a strong Conformer-CTC as the baseline and finetune Japanese LLMs for EC. Through our evaluation on a suite of 21 internal benchmarks, we demonstrate that our approach can significantly reduce overcorrection and improve both the accuracy and quality of ASR results in the challenging OOD settings.
• Abstract（参考訳）: 大規模言語モデルに基づく誤り訂正(EC)は,自動音声認識(ASR)システムの性能を向上させる新しい技術である。 一般的に、ECのトレーニングデータは、大量のASR仮説(ソースとして)とその金の参照(ターゲットとして)を自動的にペアリングすることによって収集される。 しかし、そのようなペアの品質は保証されておらず、我々は、ECモデルを不安定にすることができる様々な種類のノイズを観測した。 本研究は,ECトレーニングデータが満たすべき基本的基準として,(1)情報源に対する言語的受容性の向上,(2)利用可能な文脈(例えばソース音素)から推測可能なこと,の2つを提案する。 これらの基準により、我々は低品質のECペアを特定し、そのようなケースでは修正しないようにモデルを訓練する。 本実験では,EC 用日本語 LLM のベースラインとして強力な Conformer-CTC を用いた日本語 ASR に着目した。 提案手法は,21種類の内部ベンチマークを用いて,過補正を大幅に低減し,ASRの精度と品質を両立させることで,難易度の高いOOD設定が得られることを示した。

関連論文リスト

• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• ASR Error Correction using Large Language Models [4.75940708384553]
  誤り訂正(EC)モデルは、自動音声認識(ASR)転写の精製において重要な役割を果たす。 本研究は,多種多様なシナリオにおける誤り訂正のための大規模言語モデル (LLM) の使用について検討する。
  論文  参考訳（メタデータ） (2024-09-14T23:33:38Z)
• Crossmodal ASR Error Correction with Discrete Speech Units [16.58209270191005]
  ASR誤り訂正(AEC)に対するASR後処理手法を提案する。 我々は、事前学習と微調整の戦略を探求し、ASRドメインの不一致現象を明らかにする。 そこで本稿では,AEC品質向上のための単語埋め込みの整合・強化を目的とした,離散音声ユニットの組込みを提案する。
  論文  参考訳（メタデータ） (2024-05-26T19:58:38Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• NoRefER: a Referenceless Quality Metric for Automatic Speech Recognition via Semi-Supervised Language Model Fine-Tuning with Contrastive Learning [0.20999222360659603]
  NoRefERは、自動音声認識(ASR)システムのための新しい基準のない品質指標である。 NoRefERは、ASRの複数の圧縮レベルからの仮説間の既知の品質関係を利用して、品質によるサンプル内仮説のランク付けを学習する。 以上の結果から,NoRefERは基準ベースメトリクスとそのサンプル内ランクと高い相関性を示し,基準のないASR評価やa/bテストの可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-21T21:26:19Z)
• Linguistic Rules-Based Corpus Generation for Native Chinese Grammatical Error Correction [36.74272211767197]
  本稿では,言語規則に基づく大規模CGEC学習コーパスの構築手法を提案する。 実世界のシナリオにおける中国語話者の誤りから完全に導かれる、挑戦的なCGECベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-10-19T10:20:39Z)
• Consistent Training and Decoding For End-to-end Speech Recognition Using Lattice-free MMI [67.13999010060057]
  本稿では,LF-MMI基準をE2E ASRフレームワークに統合する新たな手法を提案する。 LF-MMI基準の導入は、一貫して大きなパフォーマンス改善をもたらすことが実験的に示唆されている。
  論文  参考訳（メタデータ） (2021-12-05T07:30:17Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。