論文の概要: Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German

• arxiv url: http://arxiv.org/abs/2605.19069v2
• Date: Thu, 21 May 2026 17:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.888578
• Title: Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German
• Title（参考訳）: コード交換音声における商用ASRシステムのベンチマーク:アラビア語、ペルシア語、ドイツ語
• Abstract要約: コードスイッチングは、自動音声認識において最も困難で未研究の条件の1つである。 我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。
• 参考スコア（独自算出の注目度）: 0.34797121357690153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code-switching -- the natural alternation between two languages within a single utterance -- represents one of the most challenging and under-studied conditions for automatic speech recognition (ASR). Existing commercial ASR benchmarks predominantly evaluate clean, monolingual audio and report a single Word Error Rate (WER) figure that tells practitioners little about real-world multilingual performance. We present a benchmark evaluating five commercial ASR providers across four language pairs: Egyptian Arabic--English, Saudi Arabic (Najdi/Hijazi)--English, Persian (Farsi)--English, and German--English. Each dataset comprises 300 samples selected by a two-stage pipeline: a heuristic filter scoring transcripts on five structural code-switching signals, followed by a GPT-4o and Gemini 1.5 Pro ensemble scoring candidates across six linguistic dimensions. This pipeline reduces LLM scoring costs by approximately 91% relative to exhaustive scoring. We evaluate the systems on both WER and BERTScore, arguing that BERTScore is a more reliable metric for Arabic and Persian pairs where transliteration variance causes WER to penalise semantically correct transcriptions. ElevenLabs Scribe v2 achieves the lowest WER across all four language pairs (13.2% overall; 13.1% on Egyptian Arabic) and leads on BERTScore (0.936 overall). We further demonstrate that difficulty-stratified analysis reveals performance gaps masked by aggregate averages, and that BERT embedding projections confirm semantic proximity between reference and hypothesis despite surface-level script differences. The benchmarking dataset is publicly available at https://huggingface.co/datasets/Perle-ai/ASR_Code_Switch.
• Abstract（参考訳）: コードスイッチング(英: Code-switching)とは、単一発話における2つの言語間の自然な交替であり、自動音声認識(ASR)において最も困難で未研究の条件の1つである。 既存の商用ASRベンチマークは、クリーンでモノリンガルなオーディオを評価し、実践者が実世界のマルチリンガルのパフォーマンスについてほとんど語らない1つのワードエラー率(WER)を報告している。 エジプト語: アラビア語、サウジアラビア語: Najdi/Hijazi)-英語、ペルシア語: Farsi)-英語、ドイツ語: German- English である。 各データセットは、2段階のパイプラインで選択された300のサンプルからなる: 5つの構造的コードスイッチング信号の転写をヒューリスティックフィルタでスコアリングし、続いてGPT-4oとGemini 1.5 Proのアンサンブルにより、6つの言語的次元の候補をスコアリングする。 このパイプラインは、総得点に対してLCMのスコアリングコストを約91%削減する。 We evaluate the systems on both WER and BERTScore, that BERTScore is a more reliable metric for Arabic and Persian pairs which WER to penalise correct transcriptions。 ElevenLabs Scribe v2は4つの言語ペアの中で最も低いWER(全体の13.2%、エジプト語では13.1%)を獲得し、BERTScore(全体の0.936)に導かれる。 さらに,解析の難易度は,集合平均によって隠蔽される性能ギャップを明らかにし,BERT埋め込みプロジェクションは,表層スクリプトの違いにもかかわらず,参照と仮説のセマンティックな近接性を確認することを実証した。 ベンチマークデータセットはhttps://huggingface.co/datasets/Perle-ai/ASR_Code_Switchで公開されている。

関連論文リスト

• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
  多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。 この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。 本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-04-17T10:39:01Z)
• Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation [0.8253953000831505]
  我々はエージェント・ア・ジャッジ・プロンプト・スタックを5つのタイプ的多様言語(英語、アラビア語、トルコ語、中国語、ヒンディー語)にローカライズする。 3つの開発者エージェントフレームワークと6つの審査バックボーンで55のDevAI開発タスクを評価し、合計4950回の審査を実行した。 GPT-4oは英語で最も満足度が高い(44.72%)のに対し、ジェミニはアラビア語(51.72%、$p0.001$、GPT-4o、Hindi)である。
  論文  参考訳（メタデータ） (2026-04-06T08:54:16Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• One Instruction Does Not Fit All: How Well Do Embeddings Align Personas and Instructions in Low-Resource Indian Languages? [1.071318785217926]
  インドの12の言語と4つの評価課題にまたがるベンチマークを提示する。 E5-Large-Instructはモノリンガル検索で27.4%、クロスリンガル転送で20.7%のリコール@1を達成している。 分類において、LaBSEは75.3%のAUROCを獲得し、校正が強い。
  論文  参考訳（メタデータ） (2026-01-15T09:10:14Z)
• AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3 [4.284434049360481]
  本稿では、SentencePiece Unigramアルゴリズム上に構築されたアラビア最適化トークンであるAraTokenを紹介する。 正常化したSentencePieceは、非正規化ベースラインに比べて18%低い受精率(1.199対1.35トークン/ワード)を達成することを示す。 実験の結果,LEPは100Kアラビアサンプルの800段階において,評価損失を8.28から2.43に減少させることがわかった。
  論文  参考訳（メタデータ） (2025-12-20T15:32:10Z)
• ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis [3.763275651955603]
  既存のペルシア語のデータセットは、典型的には英語のデータセットよりも小さい。 ParsVoice はペルシャ語で最大の音声コーパスで、テキストから音声への応用に特化して設計された。
  論文  参考訳（メタデータ） (2025-10-12T19:33:11Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Large Language Models for Persian $ \leftrightarrow $ English Idiom Translation [5.689194193929357]
  大規模言語モデル(LLM)は、ニューラルマシン翻訳(NMT)システムと比較して、図形言語を翻訳する優れた能力を示している。 本稿ではペルシャ語$rightarrow$ Englishと英語$rightarrow$Persian翻訳の慣用表現を含む2つのパラレルデータセットを紹介する。 オープンソースとクローズドソースのLLM, NMTモデルおよびそれらの組み合わせを評価した。 クロード3.5-ソネットは、両方の翻訳方向において優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-12-13T09:29:27Z)
• Phonology-Guided Speech-to-Speech Translation for African Languages [2.7624021966289605]
  音声合成のための韻律誘導フレームワーク(S2ST)を提案する。 Emphwithin-phylum言語対は30-40%低停止,3$times$以上のオンセット/オフセット相関を示した。 また、人間の判断と強く相関する3層無転写BLEUスイート(M1-M3)もリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T09:44:52Z)
• Exploring SSL Discrete Tokens for Multilingual ASR [29.059205486691745]
  本研究では,複数の言語領域にまたがるSSLモデルの離散トークンの比較を行った。 実験により、離散トークンは、ASRタスクにおけるFbank機能に基づいて訓練されたシステムに対して、同等の結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-09-13T13:13:39Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)
• Bilingual End-to-End ASR with Byte-Level Subwords [4.268218327369146]
  文字レベル、バイトレベル、バイトペア符号化(BPE)、バイトレベルバイトペア符号化(BBPE)など、さまざまな表現について検討する。 我々は,発話に基づくバイリンガルASRをサポートする単一エンドツーエンドモデルの開発に注力する。 ペナルティスキーム付きBBPEは,少ない出力と少ないパラメータであっても,発話ベースのバイリンガルASR性能を2%から5%向上できることがわかった。
  論文  参考訳（メタデータ） (2022-05-01T15:01:01Z)
• Arabic Speech Recognition by End-to-End, Modular Systems and Human [56.96327247226586]
  我々は、エンドツーエンド変換器ASR、モジュール型HMM-DNN ASR、および人間の音声認識のための包括的なベンチマークを行う。 ASRでは、エンドツーエンドの作業が12.5%、27.5%、23.8%のWERとなり、それぞれMGB2、MGB3、MGB5の新たなパフォーマンスマイルストーンとなった。 以上の結果から,アラビア語における人的パフォーマンスは,平均3.6%のWERギャップを持つ機械に比べて,依然としてかなり優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-01-21T05:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。