論文の概要: Rethinking Human-Aligned Evaluation: An Analysis of Semantic Metrics Beyond WER

• arxiv url: http://arxiv.org/abs/2609.21663v2
• Date: Fri, 25 Sep 2026 08:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.01665
• Title: Rethinking Human-Aligned Evaluation: An Analysis of Semantic Metrics Beyond WER
• Title（参考訳）: ヒューマンアライメント評価の再考--WERを超えたセマンティックメトリクスの分析
• Abstract要約: HATS-enは人中心ASR評価のための英語データセットである。 BERTScoreとSemDistのいくつかの構成に対して語彙メトリクスをベンチマークする。 We found that WER is least with human judgment among all metrics test。
• 参考スコア（独自算出の注目度）: 39.593552073924606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word Error Rate (WER), the most commonly used metric for Automatic Speech Recognition (ASR), treats every lexical deviation from the reference as equally costly, regardless of whether it changes meaning. This raises the question: does WER actually track how humans judge ASR transcript quality? We introduce HATS-en, an English dataset for human-centered ASR evaluation. Using this dataset, we benchmark lexical metrics against several configurations of BERTScore and SemDist, varying the language model, layer, and pooling strategy. We find that WER agrees least with human judgment among all metrics tested, that the best-performing SemDist configurations achieve the highest overall agreement, ahead of CER and BERTScore, and that no single model is best across settings. CER, despite its simplicity and low cost, remains remarkably close to these best configurations. In line with prior recommendations, our results support shifting ASR evaluation toward CER both for English and for morphosyllabic writing systems as it is a more interpretable and low-cost metric for what evaluation should actually capture, and using SemDist as a complementary evaluation.
• Abstract（参考訳）: 単語誤り率(Word Error Rate, WER)は、ASR(Automatic Speech Recognition, 自動音声認識)において最もよく使われる指標であり、参照からのすべての語彙のずれは、それが意味を変えるかどうかに関わらず、等しくコストがかかる。 WERは、人間がASRの転写品質をどう判断するかを実際に追跡しているのか? 人中心ASR評価のための英語データセットHATS-enを紹介する。 このデータセットを用いて、BERTScoreとSemDistのいくつかの構成に対して語彙メトリクスをベンチマークし、言語モデル、レイヤ、プール戦略を変化させる。 We found that WER is least with human judgment among all metrics, the best-perform SemDist configurations achieve the highest overall agreement, before CER and BERTScore, and no single model is best across settings。 CERは単純さと低コストにもかかわらず、これらの最高の構成に非常に近いままである。 本研究は,英語とモルフォスラビック書記システムの両方において,ASR評価をCERにシフトすることを支援するとともに,実際にどのような評価を行うべきかを解釈可能で低コストで測定し,SemDistを相補的評価として使用した。

関連論文リスト

• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics [11.326630899294004]
  本稿では,ASRシステムによって生成される転写誤りの人間の知覚の観点から,フランス語で手動で注釈付きデータセットを提示する。 本研究では,ヒトの嗜好とASR評価指標との関係について検討した。
  論文  参考訳（メタデータ） (2026-04-30T07:48:20Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)
• Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis [79.18261352971284]
  人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。 既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-10-10T22:30:26Z)
• Assessing ASR Model Quality on Disordered Speech using BERTScore [5.489867271342724]
  単語誤り率(WER)は、自動音声認識(ASR)モデルの品質を評価するために使われる主要な指標である。 ASRモデルは、典型的な英語話者よりも、音声障害のある話者に対してWERがはるかに高い傾向にあることが示されている。 本研究では,テキスト生成のための評価指標であるBERTScoreを用いて,ASRモデルの品質と有用性について,より有益な指標を提供する。
  論文  参考訳（メタデータ） (2022-09-21T18:33:33Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。