論文の概要: Automatic Speech Recognition System-Independent Word Error Rate Estimatio
- arxiv url: http://arxiv.org/abs/2404.16743v1
- Date: Thu, 25 Apr 2024 16:57:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 12:41:33.917551
- Title: Automatic Speech Recognition System-Independent Word Error Rate Estimatio
- Title（参考訳）: 音声認識システムに依存しない単語誤り率の自動推定
- Authors: Chanho Park, Mingjie Chen, Thomas Hain,
- Abstract要約: 単語誤り率(Word error rate、WER)は、自動音声認識(ASR)システムによって生成された文字の質を評価するために用いられる指標である。
本稿では,ASRシステムに依存しないWER推定のための仮説生成手法を提案する。
- 参考スコア（独自算出の注目度）: 23.25173244408922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Word error rate (WER) is a metric used to evaluate the quality of transcriptions produced by Automatic Speech Recognition (ASR) systems. In many applications, it is of interest to estimate WER given a pair of a speech utterance and a transcript. Previous work on WER estimation focused on building models that are trained with a specific ASR system in mind (referred to as ASR system-dependent). These are also domain-dependent and inflexible in real-world applications. In this paper, a hypothesis generation method for ASR System-Independent WER estimation (SIWE) is proposed. In contrast to prior work, the WER estimators are trained using data that simulates ASR system output. Hypotheses are generated using phonetically similar or linguistically more likely alternative words. In WER estimation experiments, the proposed method reaches a similar performance to ASR system-dependent WER estimators on in-domain data and achieves state-of-the-art performance on out-of-domain data. On the out-of-domain data, the SIWE model outperformed the baseline estimators in root mean square error and Pearson correlation coefficient by relative 17.58% and 18.21%, respectively, on Switchboard and CALLHOME. The performance was further improved when the WER of the training set was close to the WER of the evaluation dataset.
- Abstract（参考訳）: 単語誤り率(Word error rate、WER)は、自動音声認識(ASR)システムによって生成された文字の質を評価するために用いられる指標である。
多くの応用において、WERは音声の発声と書き起こしのペアを推定することに興味がある。
WER推定に関するこれまでの研究は、特定のASRシステム(ASRシステムに依存している)を念頭に置いて訓練されたモデルの構築に焦点を当てていた。
ドメイン依存であり、現実のアプリケーションでは非フレキシブルである。
本稿では, ASR System-Independent WER Estimation (SIWE) の仮説生成手法を提案する。
以前の作業とは対照的に、WER推定器はASRシステムの出力をシミュレートするデータを用いて訓練される。
仮説は、音声的に類似または言語的によりありそうな代替語を用いて生成される。
WER推定実験では、提案手法はドメイン内データ上でのASRシステム依存のWER推定器と同等の性能に達し、ドメイン外データ上で最先端の性能を達成する。
ドメイン外データでは、SIWEモデルは、SwitchboardとCALLHOMEでそれぞれ17.58%と18.21%の相関係数で、根平均平方誤差とピアソン相関係数でベースライン推定値を上回った。
トレーニングセットのWERが評価データセットのWERに近くなると、さらに性能が向上した。
関連論文リスト
- Fast Word Error Rate Estimation Using Self-Supervised Representations
For Speech And Text [23.25173244408922]
音声認識の品質は一般に単語誤り率(WER)によって測定される
WER推定は、音声の発声と書き起こしを与えられたASRシステムのWERを予測するタスクである。
本稿では,自己教師付き学習表現(SSLR)を用いた高速WER推定器(Fe-WER)を提案する。
論文 参考訳（メタデータ） (2023-10-12T11:17:40Z) - A Reference-less Quality Metric for Automatic Speech Recognition via
Contrastive-Learning of a Multi-Language Model with Self-Supervision [0.20999222360659603]
本研究は,音声データセット上での異なるASRモデルの性能を比較するための基準のない品質指標を提案する。
ASR仮説の質を推定するために、事前訓練された言語モデル(LM)を自己教師付き学習方式でコントラスト学習により微調整する。
提案した基準レス計量は、すべての実験において最先端の多言語LMからWERスコアとそれらのランクとの相関をはるかに高める。
論文 参考訳（メタデータ） (2023-06-21T21:33:39Z) - NoRefER: a Referenceless Quality Metric for Automatic Speech Recognition
via Semi-Supervised Language Model Fine-Tuning with Contrastive Learning [0.20999222360659603]
NoRefERは、自動音声認識(ASR)システムのための新しい基準のない品質指標である。
NoRefERは、ASRの複数の圧縮レベルからの仮説間の既知の品質関係を利用して、品質によるサンプル内仮説のランク付けを学習する。
以上の結果から,NoRefERは基準ベースメトリクスとそのサンプル内ランクと高い相関性を示し,基準のないASR評価やa/bテストの可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-21T21:26:19Z) - ASR in German: A Detailed Error Analysis [0.0]
この研究は、ドイツ語で事前訓練されたASRモデルアーキテクチャの選択を示し、様々なテストデータセットのベンチマークで評価する。
クロスアーキテクチャの予測エラーを特定し、それらをカテゴリに分類し、カテゴリ毎のエラーソースをトレーニングデータにトレースする。
論文 参考訳（メタデータ） (2022-04-12T08:25:01Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (2022-03-27T06:38:39Z) - Sequence-level self-learning with multiple hypotheses [53.04725240411895]
我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。
従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。
実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
論文 参考訳（メタデータ） (2021-12-10T20:47:58Z) - Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる
ASR誤差はカスケード法における出力要約の品質に直接影響する。
本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
論文 参考訳（メタデータ） (2021-11-16T03:00:29Z) - WER-BERT: Automatic WER Estimation with BERT in a Balanced Ordinal
Classification Paradigm [0.0]
分類設定におけるe-WERの新たなバランスの取れたパラダイムを提案する。
このパラダイムでは、E-WERの音声機能を備えたBERTベースのアーキテクチャであるWER-BERTも提案しています。
結果と実験は、WER-BERTが自動WER推定において新しい最先端を確立することを示しています。
論文 参考訳（メタデータ） (2021-01-14T07:26:28Z) - Unsupervised Domain Adaptation for Speech Recognition via Uncertainty
Driven Self-Training [55.824641135682725]
WSJ をソースドメインとし,TED-Lium 3 とSWITCHBOARD を併用したドメイン適応実験を行った。
論文 参考訳（メタデータ） (2020-11-26T18:51:26Z) - Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。
APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。
我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
論文 参考訳（メタデータ） (2020-04-09T09:26:42Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。