論文の概要: Linguistically Informed Evaluation of Multilingual ASR for African Languages

• arxiv url: http://arxiv.org/abs/2602.04716v1
• Date: Wed, 04 Feb 2026 16:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.619225
• Title: Linguistically Informed Evaluation of Multilingual ASR for African Languages
• Title（参考訳）: 言語の多言語ASRの言語的インフォームド評価
• Authors: Fei-Yueh Chen, Lateef Adeleke, C. M. Downey,
• Abstract要約: We evaluate three speech encoder on two African languages by complementing WER with Feature Error Rate (FER), and add a tone-aware extension (TER)。 fer と TER は,単語レベルの精度が低い場合でも言語的に有意な誤りパターンを示す。
• 参考スコア（独自算出の注目度）: 0.7155139483398897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word Error Rate (WER) mischaracterizes ASR models' performance for African languages by combining phonological, tone, and other linguistic errors into a single lexical error. By contrast, Feature Error Rate (FER) has recently attracted attention as a viable metric that reveals linguistically meaningful errors in models' performance. In this paper, we evaluate three speech encoders on two African languages by complementing WER with CER, and FER, and add a tone-aware extension (TER). We show that by computing errors on phonological features, FER and TER reveal linguistically-salient error patterns even when word-level accuracy remains low. Our results reveal that models perform better on segmental features, while tones (especially mid and downstep) remain the most challenging features. Results on Yoruba show a striking differential in metrics, with WER=0.788, CER=0.305, and FER=0.151. Similarly for Uneme (an endangered language absent from pretraining data) a model with near-total WER and 0.461 CER achieves the relatively low FER of 0.267. This indicates model error is often attributable to individual phonetic feature errors, which is obscured by all-or-nothing metrics like WER.
• Abstract（参考訳）: Word Error Rate (WER)は、音声学、トーン、その他の言語的誤りを1つの語彙的誤りに組み合わせることで、ASRモデルの性能をアフリカの言語で誤って評価する。 対照的に、機能エラー率(FER)は、最近、モデルの性能において言語的に意味のある誤りを示す実行可能な指標として注目されている。 本稿では,WER を CER と FER に補完することで2つのアフリカ言語上での3つの音声エンコーダの評価を行い,音調対応拡張 (TER) を追加する。 音韻的特徴に対する誤りを計算することにより, FERとTERは単語レベルの精度が低い場合でも言語的に有意な誤りパターンを明らかにする。 結果から,モデルでは部分的特徴が優れ,音色(特に中・下段)が最も難しい特徴であることが明らかとなった。 ヨルバの観測結果は、WER=0.788、CER=0.305、FER=0.151で顕著な差を示した。 同様に、Uneme(事前訓練データから欠落する絶滅危惧言語)では、近距離 WER と 0.461 CER のモデルが 0.267 の比較的低いFER を達成する。 これは、モデルエラーが個々の音声的特徴誤差に起因することが少なく、WERのようなオール・オア・ナッシングのメトリクスによって隠蔽されていることを示している。

関連論文リスト

• A Taxonomy of Errors in English as she is spoke: Toward an AI-Based Method of Error Analysis for EFL Writing Instruction [0.0]
  本研究では,英語における誤りの特定,分類,訂正を目的としたAI支援誤り解析システムの開発について述べる。 この体系は、Corder (1967)、Richards (1971)、James (1998) の言語理論に基づく詳細な分類法を採用している。 AIは様々なエラータイプを特定したが、コンテキスト理解の制限を示し、時には未コーディングエラーに遭遇した時に新しいエラーカテゴリを生成した。
  論文  参考訳（メタデータ） (2025-11-29T08:45:00Z)
• Automatic Correction of Writing Anomalies in Hausa Texts [0.0]
  ハウサ文字はしばしば、誤字置換やスペーシングエラーなどの異常を書くことで特徴づけられる。 本稿では,変圧器モデルを用いて異常を自動的に修正する手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T10:46:19Z)
• Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [79.40678802098026]
  数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。 現在のエラー分類法は静的および事前定義されたカテゴリに依存している。 本稿では,共通なエラーパターンを明示的なガイダンスとして組み込んだEAP(Error-Aware Prompting)を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:17:57Z)
• Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking [68.77659513993507]
  我々は,多言語ASRの精度を向上させるため,単純かつ効果的なN-best再分類手法を提案する。 その結果, 音声認識の精度は8.7%, 6.1%, 単語誤り率は3.3%, 単語誤り率は2.0%であった。
  論文  参考訳（メタデータ） (2024-09-27T03:31:32Z)
• Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
  我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。 自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。 その結果、精度は63.66%、リコールは20.19%であった。
  論文  参考訳（メタデータ） (2024-02-28T06:43:43Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Boosting Chinese ASR Error Correction with Dynamic Error Scaling Mechanism [27.09416337926635]
  現在の主流モデルは、しばしば単語レベルの特徴と音声情報を効果的に活用するのに苦労する。 本稿では,音素の誤りを検知し,訂正する動的エラースケーリング機構を取り入れた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T09:19:59Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。