論文の概要: mu-bench: A Multilingual Utterance Transcription Benchmark
- arxiv url: http://arxiv.org/abs/2609.32082v1
- Date: Fri, 25 Sep 2026 23:39:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 03:21:49.34028
- Title: mu-bench: A Multilingual Utterance Transcription Benchmark
- Title（参考訳）: mu-bench: マルチリンガルなUtterance Transcriptionベンチマーク
- Abstract要約: 英語、スペイン語、トルコ語、ベトナム語、マンダリンのAIバンキングエージェントに対して、250件の電話から4,270件の発声のデータセットであるmu-benchを紹介した。
著者らは,LLM判事のUtterance Error Rate (UER) を公表した。
1,847 の人文分類書では、UER はアノテータに$ 0.78 で同意するが、正規化テキストの精度は 0.53 である。
- 参考スコア（独自算出の注目度）: 0.7448254811651417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Voice agents depend on accurate automatic speech recognition (ASR) to act on what callers say, yet ASR is evaluated on read, English-centric speech with word error rate (WER), which penalizes surface rather than semantic differences. We introduce mu-bench, a dataset of 4,270 caller utterances from 250 phone calls to an AI banking agent in English, Spanish, Turkish, Vietnamese, and Mandarin, centered on form-field inputs such as names, email addresses, and confirmation codes. We release Utterance Error Rate (UER), an LLM judge of whether a transcript preserves meaning, calibrated against human raters, together with an LLM normalizer that makes WER comparable across providers' output formats. On 1,847 human-rated transcripts, UER agrees with annotators at $κ$ = 0.78, versus 0.53 for exact-match WER on normalized text. We rank six commercial providers on a public leaderboard; the best reaches 11.9% UER, and Mandarin is hardest for all six.
- Abstract（参考訳）: 音声エージェントは、通話者が何を言っているかを正確に自動音声認識(ASR)に頼っているが、ASRは、意味的な違いではなく表面をペナル化する単語誤り率(WER)による読み出し、英語中心の音声で評価される。
英語、スペイン語、トルコ語、ベトナム語、マンダリンのAIバンキングエージェントに対して、250件の電話から4,270件の発声のデータセットであるmu-benchを紹介した。
We release Utterance Error Rate (UER), a LLM judge of a transcript maintains meaning against human raters, with a LLM normalizer that makes WER comparable across the providers' output formats。
1,847 の人文分類書では、UER は κ$ = 0.78 でアノテータに同意するが、正規化テキストでは 0.53 である。
我々は、公共のリーダーボードに6つの商用プロバイダーをランク付けし、最高は11.9%のUERに到達し、マンダリンは6人すべてにとって最も難しい。
関連論文リスト
- BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech [33.56852513195373]
テキスト音声システム(TTS)は台湾語にはあまり適応していない。
これらの問題は一つのルーツを共有している: テキスト側は台湾の文脈に適応していない。
テキストサイドをボトムアップから処理します。
論文 参考訳（メタデータ） (2026-07-07T09:31:19Z) - Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German [0.34797121357690153]
我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。
We evaluate on WER and BERTScore, showed that both metrics agree on the Ordinal ranking of systems, WER inflats the size of quality gaps。
ElevenLabs Scribe v2は最低のWER(全体の13.2%)を獲得し、BERTScore(全体の0.936)に導かれる。
論文 参考訳（メタデータ） (2026-05-18T19:50:44Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment [1.0898519359579681]
Harf-Speechは、アラビア語の発音を臨床レベルで評価するモジュールシステムである。
Harf-Speech は Pearson の0.791 と ICC (2,1) の0.659 の相関値を得た。
論文 参考訳（メタデータ） (2026-03-11T04:10:35Z) - SeamlessM4T: Massively Multilingual & Multimodal Machine Translation [90.71078166159295]
音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。
我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。
FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。
論文 参考訳（メタデータ） (2023-08-22T17:44:18Z) - BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。
本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
論文 参考訳（メタデータ） (2022-12-16T14:00:26Z) - Unsupervised Speech Recognition [55.864459085947345]
wav2vec-Uは、ラベル付きデータなしで音声認識モデルを訓練する方法である。
我々は、自己教師付き音声表現を活用して、ラベルなし音声をセグメント化し、これらの表現から相手の訓練を通して音素へのマッピングを学習する。
より大きな英語のLibrispeechベンチマークでは、wav2vec-Uは、わずか2年前の960時間のラベル付きデータに基づいてトレーニングされた最も優れたシステムに匹敵する、他のテストで5.9の単語エラー率を達成した。
論文 参考訳（メタデータ） (2021-05-24T04:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。