論文の概要: The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
- arxiv url: http://arxiv.org/abs/2609.21084v1
- Date: Thu, 17 Sep 2026 21:01:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.77878
- Title: The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
- Title(参考訳): ディジットの隠れコスト:ASRシステムにおける数値正規化とWER
- Abstract要約: 各種言語におけるASRシステム評価における数値表現の正規化の影響を解析する。
WERにおける数正規化の欠如による差は大きい可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern automatic speech recognition (ASR) systems trained on extremely large datasets can produce transcripts with numbers written in Arabic numerals. This creates a need for fair comparison with models that output verbatim texts and proper processing of reference transcripts. Popular approaches often reduce text normalization to lowercase and remove punctuation, with no additional normalization applied to languages other than English. In this work, we analyze the impact of normalization of numerical expressions in the evaluation of ASR systems in various languages, using Polish as an example of a highly inflective language. We perform experiments on VoxPopuli and The Polish Parliamentary speech datasets and estimate word error rate (WER) differences for different text normalization approaches. We show that the difference due to the lack of number normalization in WER may be substantial - more than 2 percentage points, and often higher than the differences between systems in popular multilingual benchmarks.
- Abstract(参考訳): 非常に大きなデータセットで訓練された現代の自動音声認識(ASR)システムは、アラビア数字で書かれた数字で書き起こしを生成できる。
これにより、動詞のテキストを出力するモデルと、参照書き起こしを適切に処理するモデルとの公正な比較の必要性が生じる。
一般的なアプローチは、テキストの正規化を小文字に減らし、句読点を取り除くことがあり、英語以外の言語にも追加の正規化は適用されない。
本研究では,多言語におけるASRシステム評価における数値表現の正規化の影響をポーランド語を用いて解析する。
我々は、VoxPopuliとThe Polish Parliamentary speech datasetsの実験を行い、異なるテキスト正規化アプローチにおける単語誤り率(WER)の差を推定する。
WERにおける数正規化の欠如による差は,2パーセント以上であり,多言語ベンチマークにおけるシステム間の差よりも高い場合が多い。
関連論文リスト
- MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。
この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。
本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2026-04-17T10:39:01Z) - PolyNorm: Few-Shot LLM-Based Text Normalization for Text-to-Speech [1.9288174612754012]
テキスト正規化(TN)は、テキスト音声合成(TTS)システムにおいて重要な前処理ステップである。
大規模言語モデル(LLM)を用いたTNへのプロンプトベースのアプローチであるPolyNormを提案する。
本稿では,多言語にわたるスケーラブルな実験を容易にするために,自動データキュレーションと評価のための言語に依存しないパイプラインを提案する。
論文 参考訳(メタデータ) (2025-11-05T00:06:35Z) - What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations [0.0]
本稿では,OpenAI Whisper,MetaのMMS,Seamless,アセンブリAIのConformerなど,主要なASRモデルのテキスト正規化ルーチンについて検討する。
我々の研究は、現在のテキスト正規化の実践が、公正な比較のためにASR出力を標準化することを目的としている一方で、Indicスクリプトに適用した場合、根本的な欠陥があることを明らかにする。
本稿では,言語学の専門知識を生かしたテキスト正規化ルーチン開発へのシフトを提案する。
論文 参考訳(メタデータ) (2024-09-04T05:08:23Z) - MRN: Multiplexed Routing Network for Incremental Multilingual Text
Recognition [56.408324994409405]
多重ルーティングネットワーク(MRN)は、現在見られる言語ごとに認識器を訓練する。
MRNは、古いデータへの依存を効果的に減らし、破滅的な忘れ物との戦いを改善する。
既存の汎用IL法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-05-24T06:03:34Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳(メタデータ) (2021-12-21T08:10:27Z) - Multi-view Subword Regularization [111.04350390045705]
マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。
XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
論文 参考訳(メタデータ) (2021-03-15T16:07:42Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。