論文の概要: A Paradigm for Interpreting Metrics and Identifying Critical Errors in Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2605.03671v1
• Date: Tue, 05 May 2026 12:09:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.923544
• Title: A Paradigm for Interpreting Metrics and Identifying Critical Errors in Automatic Speech Recognition
• Title（参考訳）: 自動音声認識におけるメトリクスの解釈と臨界誤差の同定のためのパラダイム
• Authors: Thibault Bañeras-Roux, Mickael Rouvier, Jane Wottawa, Richard Dufour,
• Abstract要約: 最小編集距離(minED)という誤り率の等価性を得るために,選択したメトリックを組み込んだパラダイムを提案する。 このアプローチは、転写エラーを人間の知覚と平行させ、また、人間の視点からこれらのエラーの重大さについての研究を可能にする。
• 参考スコア（独自算出の注目度）: 12.151730134044696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The most commonly used metrics for evaluating automatic speech transcriptions, namely Word Error Rate (WER) and Character Error Rate (CER), have been heavily criticized for their poor correlation to human perception and their inability to take into account linguistic and semantic information. While metric-based embeddings, seeking to approximate human perception, have been proposed, their scores remain difficult to interpret, unlike WER and CER. In this article, we overcome this problem by proposing a paradigm that consists in incorporating a chosen metric into it in order to obtain an equivalent of the error rate: a Minimum Edit Distance (minED). This approach parallels transcription errors with their human perception, also allowing an original study of the severity of these errors from a human perspective.
• Abstract（参考訳）: 単語誤り率(Word Error Rate, WER)と文字誤り率( character Error Rate, CER)は、人間の知覚と言語的・意味的な情報を考慮できないことで、非常に批判されている。 人間の知覚を近似するためのメートル法に基づく埋め込みが提案されているが、WERやCERとは異なり、それらのスコアは解釈が難しいままである。 本稿では、最小編集距離(minED)という誤差率と同等の値を得るために、選択したメトリックを組み込んだパラダイムを提案することにより、この問題を克服する。 このアプローチは、転写エラーを人間の知覚と平行させ、また、人間の視点からこれらのエラーの重大さについての研究を可能にする。

関連論文リスト

• Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition [6.732553711612198]
  いくつかの指標を用いて,ASRシステムにおける言語モデルを用いた再構成の影響について検討した。 これらの指標は、転写仮説における後部再コーディング段階に適用される言語モデルの言語学的貢献を示す。
  論文  参考訳（メタデータ） (2026-04-30T07:37:16Z)
• A Benchmark of French ASR Systems Based on Error Severity [6.657432034629865]
  誤りを4つの重大度に分類する新たな評価法を提案する。 この基準は、フランス語で10の最先端のASRシステムのベンチマークに適用される。
  論文  参考訳（メタデータ） (2025-01-18T21:07:18Z)
• What's under the hood: Investigating Automatic Metrics on Meeting Summarization [7.234196390284036]
  会議要約は、オンライン交流の増加を考慮した重要な課題となっている。 現在のデフォルトのメトリクスは、観測可能なエラーをキャプチャするのに苦労しており、相関が弱い。 特定のエラーに正確に反応するのはサブセットのみであり、ほとんどの相関関係は、エラーが要約品質に与える影響を反映していないか、あるいは失敗していることを示している。
  論文  参考訳（メタデータ） (2024-04-17T07:15:07Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• BLEU Meets COMET: Combining Lexical and Neural Metrics Towards Robust Machine Translation Evaluation [12.407789866525079]
  文レベルの特徴や単語レベルのタグなど,トレーニング中に追加情報を使用することで,トレーニングされた指標が,特定の問題のある現象で翻訳をペナルティ化する能力を向上させることを示す。 文レベルの特徴や単語レベルのタグなど,トレーニング中に追加情報を使用することで,トレーニングされた指標が,特定の問題のある現象で翻訳をペナルティ化する能力を向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-30T15:50:46Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。