論文の概要: Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition
- arxiv url: http://arxiv.org/abs/2604.27533v1
- Date: Thu, 30 Apr 2026 07:37:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.97088
- Title: Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition
- Title（参考訳）: 音声認識における言語モデル再構成の質的評価
- Authors: Thibault Bañeras-Roux, Mickaël Rouvier, Jane Wottawa, Richard Dufour,
- Abstract要約: いくつかの指標を用いて,ASRシステムにおける言語モデルを用いた再構成の影響について検討した。
これらの指標は、転写仮説における後部再コーディング段階に適用される言語モデルの言語学的貢献を示す。
- 参考スコア（独自算出の注目度）: 6.732553711612198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating automatic speech recognition (ASR) systems is a classical but difficult and still open problem, which often boils down to focusing only on the word error rate (WER). However, this metric suffers from many limitations and does not allow an in-depth analysis of automatic transcription errors. In this paper, we propose to study and understand the impact of rescoring using language models in ASR systems by means of several metrics often used in other natural language processing (NLP) tasks in addition to the WER. In particular, we introduce two measures related to morpho-syntactic and semantic aspects of transcribed words: 1) the POSER (Part-of-speech Error Rate), which should highlight the grammatical aspects, and 2) the EmbER (Embedding Error Rate), a measurement that modifies the WER by providing a weighting according to the semantic distance of the wrongly transcribed words. These metrics illustrate the linguistic contributions of the language models that are applied during a posterior rescoring step on transcription hypotheses.
- Abstract（参考訳）: 自動音声認識(ASR)システムの評価は古典的だが難しいが、未解決の問題であり、しばしば単語誤り率(WER)のみに焦点を当てる。
しかし、この指標は多くの制限に悩まされており、自動転写エラーの詳細な解析を許さない。
本稿では、WERに加えて、他の自然言語処理(NLP)タスクでよく使われるいくつかの指標を用いて、ASRシステムにおける言語モデルを用いた再構成の効果を研究・理解することを提案する。
特に、転写された単語のモルフォ・シンタクティックと意味的側面に関連する2つの尺度を紹介する。
1)文法的側面を強調するPOSER(Part-of-speech Error Rate)
2)EmbER(Embedding Error Rate)とは、間違った書き起こされた単語の意味距離に応じて重み付けを行うことにより、WERを変更する尺度である。
これらの指標は、転写仮説における後部再コーディング段階に適用される言語モデルの言語学的貢献を示す。
関連論文リスト
- HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics [11.326630899294004]
本稿では,ASRシステムによって生成される転写誤りの人間の知覚の観点から,フランス語で手動で注釈付きデータセットを提示する。
本研究では,ヒトの嗜好とASR評価指標との関係について検討した。
論文 参考訳（メタデータ） (2026-04-30T07:48:20Z) - WESR: Scaling and Evaluating Word-level Event-Speech Recognition [59.21814194620928]
音声は言語情報だけでなく、笑ったり泣いたりするような豊富な非言語的な音声イベントも伝達する。
我々は,21の発声イベントの分類を改良し,個別(スタンドアローン)と連続(音声と混合)に分類した。
改良された分類法に基づくWESR-Benchは,新しい位置認識プロトコルを備えた専門家アノテート評価セット(900以上の発話)である。
論文 参考訳（メタデータ） (2026-01-08T02:23:21Z) - Context Biasing for Pronunciations-Orthography Mismatch in Automatic Speech Recognition [61.601626186678146]
本稿では,置換誤りの訂正を可能とし,難解な単語の認識精度を向上させる手法を提案する。
本手法により, 単語誤り率の相対的な改善を最大8%まで達成し, 単語誤り率の競争力を維持した。
論文 参考訳（メタデータ） (2025-06-23T14:42:03Z) - A Benchmark of French ASR Systems Based on Error Severity [6.657432034629865]
誤りを4つの重大度に分類する新たな評価法を提案する。
この基準は、フランス語で10の最先端のASRシステムのベンチマークに適用される。
論文 参考訳（メタデータ） (2025-01-18T21:07:18Z) - Speaker Tagging Correction With Non-Autoregressive Language Models [0.0]
非自己回帰言語モデルに基づく話者タグ付け補正システムを提案する。
提案手法は, 単語ダイアリゼーション誤り率 (WDER) を2つのデータセットで減少させる。
論文 参考訳（メタデータ） (2024-08-30T11:02:17Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - Unsupervised Language agnostic WER Standardization [4.768240090076601]
本稿では,スペル正規化とセグメント正規化という2つのモジュールからなる自動WER正規化システムを提案する。
4つの言語にわたる35K発話に対するASRによる実験の結果、平均的なWERの減少率は13.28%となった。
論文 参考訳（メタデータ） (2023-03-09T05:50:54Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳（メタデータ） (2020-10-26T13:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。