論文の概要: Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech
- arxiv url: http://arxiv.org/abs/2609.11786v1
- Date: Thu, 10 Sep 2026 16:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.448303
- Title: Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech
- Title（参考訳）: 単語誤り率の超過:英語用ヨールバ符号変換音声におけるASRおよび音声言語モデルのスイッチアウェア評価
- Abstract要約: そこで本研究では,11の現代システム(6つのASRモデルと5つのオーディオ LM)を英語用ヨルバ符号切替音声で評価する。
本稿では,スイッチ入力トークンエラー率(SETER),ウィンドウ化スイッチポイントエラー率,言語固有のエラー率,ダイアクリティカルな不感なWERについて報告する。
忠実なシステム全体では、ヨールバのトークン認識は崩壊し(ほぼ全てのシステムでエラー0.97)、イングランドのトークンははるかに良く認識され、ヨールバへの切り替え時にエラーは急激に集中する。
- 参考スコア（独自算出の注目度）: 0.26443508207046457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic speech recognition (ASR) systems and audio language models (audio LMs) now report low error rates on monolingual benchmarks, but their behavior on code switched speech in low resource, diacritic rich languages remains poorly characterized. We present a switch aware evaluation of eleven modern systems (six ASR models and five audio LMs) on English Yoruba code-switched speech, using a deterministic 2000 utterance evaluation set and a shared scoring pipeline. Beyond word error rate (WER), we report switch localized diagnostics: a switch entry token error rate (SETER), windowed switch point error rates, language specific error rates, and a diacritic insensitive WER. Our central finding is that aggregate WER hides code switching behavior. The best system by WER (an ASR model) is statistically indistinguishable from a leading audio LM on WER, yet the audio LM is significantly better on every switch localized metric. Across faithful systems, Yoruba token recognition collapses (error 0.97 for almost all systems) while English tokens are recognized far better, and errors concentrate sharply at switches into Yoruba. Several generative audio LMs fail as exact transcribers, producing translation, verbosity, and prompt leakage that are strongly prompt dependent. We release manifests, metric implementations, and evaluation scripts to support reproducible, switch aware benchmarking for African code switched speech.
- Abstract（参考訳）: ASR(Automatic Speech Recognition)システムとオーディオ言語モデル(audio LMs)は単言語ベンチマークで低誤り率を報告している。
そこで本研究では,2000 音声の定性評価セットと共有スコアリングパイプラインを用いて,11 の現代システム(6 つの ASR モデルと5 つの音声 LM )を英語のヨルバ音声スイッチで評価する。
単語誤り率(WER)の他に、スイッチ入力トークン誤り率(SETER)、ウィンドウ化されたスイッチポイントエラー率、言語固有のエラー率、ダイアクリティカルな不感なWERといった局所診断を報告する。
私たちの中心的な発見は、集約されたWERがコードの切替動作を隠すことです。
WER(ASRモデル)による最良のシステムは、WER上のリードオーディオLMと統計的に区別できないが、音声LMはスイッチローカライズされたメトリック毎にかなり優れている。
忠実なシステム全体では、ヨールバのトークン認識は崩壊し(ほぼ全てのシステムでエラー0.97)、イングランドのトークンははるかに良く認識され、ヨールバへの切り替え時にエラーは急激に集中する。
いくつかの生成的オーディオ LM は、正確なトランスクリバーとして失敗し、翻訳、冗長性、および強く依存するリークを即座に生成する。
我々は、再現性をサポートするマニフェスト、メートル法の実装、評価スクリプトをリリースし、アフリカのコード切替音声に対する意識的ベンチマークを切り替える。
関連論文リスト
- AfriSwitch: A Benchmark for In-the-Wild African Code-Switched Speech Recognition [1.5081019182566802]
AfriSwitchは16のアフリカの言語と言語にまたがる、Wildのコードスイッチによる音声のベンチマークである。
ひとつのスカラーが、言語がコードスイッチングされる様子をキャプチャすることはありません。
モデルスケールや名目上の言語カバレッジではなく、アフリカをターゲットとしたトレーニングは、パフォーマンスを最もよく予測する。
論文 参考訳（メタデータ） (2026-08-26T22:20:58Z) - CoVoSwitch: Machine Translation of Synthetic Code-Switched Text Based on Intonation Units [0.0]
コードスイッチングデータをPSSTで検出したインネーションユニットに置き換えて合成する。
我々はM2M-100 418MとNLLB-200 600Mの2つの多言語翻訳モデルのコードスイッチング翻訳性能を評価する。
論文 参考訳（メタデータ） (2024-07-19T13:26:35Z) - Multilingual self-supervised speech representations improve the speech
recognition of low-resource African languages with codeswitching [65.74653592668743]
微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。
訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
論文 参考訳（メタデータ） (2023-11-25T17:05:21Z) - Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages [49.6922490267701]
我々は,自己教師型音声エンコーダのコード切替能力を評価するために,ゼロリソースコード切替音声ベンチマークを導入した。
本稿では,音声エンコーダのコードスイッチング能力を評価するために,離散単位に基づく言語モデリングのベースラインシステムを紹介する。
論文 参考訳（メタデータ） (2023-10-04T17:58:11Z) - Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot
Translation [79.96416609433724]
Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。
推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。
近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
論文 参考訳（メタデータ） (2023-09-28T17:02:36Z) - On the Off-Target Problem of Zero-Shot Multilingual Neural Machine
Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。
多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。
我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文 参考訳（メタデータ） (2023-05-18T12:43:31Z) - Code-Switching without Switching: Language Agnostic End-to-End Speech
Translation [68.8204255655161]
我々は音声認識と翻訳を一貫したエンドツーエンドの音声翻訳問題として扱う。
LASTを両方の入力言語で訓練することにより、入力言語に関係なく、音声を1つのターゲット言語にデコードする。
論文 参考訳（メタデータ） (2022-10-04T10:34:25Z) - Code Switched and Code Mixed Speech Recognition for Indic languages [0.0]
多言語自動音声認識(ASR)システムの訓練は、音響情報と語彙情報が典型的には言語固有のものであるため困難である。
言語識別(LID)に基づく一言語モデルとエンドツーエンドの多言語音声認識システムの性能を比較した。
また,Hindi- English と Bengali- English の相似解法を提案し,それぞれ 21.77 と 28.27 の WER を実現する。
論文 参考訳（メタデータ） (2022-03-30T18:09:28Z) - Reducing language context confusion for end-to-end code-switching
automatic speech recognition [50.89821865949395]
本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。
複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
論文 参考訳（メタデータ） (2022-01-28T14:39:29Z) - Transformer-Transducers for Code-Switched Speech Recognition [23.281314397784346]
コード切替音声認識のためのトランスフォーマー・トランスデューサモデルアーキテクチャを用いたエンドツーエンドのASRシステムを提案する。
まず、コードスイッチングの低リソースシナリオを扱うために、2つの補助損失関数を導入する。
第二に,言語ID情報を用いた新しいマスクベースのトレーニング戦略を提案し,文内コードスイッチングに向けたラベルエンコーダのトレーニングを改善する。
論文 参考訳（メタデータ） (2020-11-30T17:27:41Z) - Learning not to Discriminate: Task Agnostic Learning for Improving
Monolingual and Code-switched Speech Recognition [12.354292498112347]
本稿では、ドメイン逆学習を用いてタスクモデルを訓練することにより、これまでの作業よりもさらに改善する。
提案手法は,単語誤り率(WER)を3つの言語対に対して単言語およびコード切替テストセットで削減する。
論文 参考訳（メタデータ） (2020-06-09T13:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。