論文の概要: The ML-SUPERB 2.0 Challenge: Towards Inclusive ASR Benchmarking for All Language Varieties

• arxiv url: http://arxiv.org/abs/2509.07139v1
• Date: Mon, 08 Sep 2025 18:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.085681
• Title: The ML-SUPERB 2.0 Challenge: Towards Inclusive ASR Benchmarking for All Language Varieties
• Title（参考訳）: ML-SUPERB 2.0の課題: すべての言語のASRベンチマークに向けて
• Authors: William Chen, Chutong Meng, Jiatong Shi, Martijn Bartelds, Shih-Heng Wang, Hsiu-Hsuan Wang, Rafael Mosquera, Sara Hincapie, Dan Jurafsky, Antonis Anastasopoulos, Hung-yi Lee, Karen Livescu, Shinji Watanabe,
• Abstract要約: 我々は200以上の言語、アクセント、方言のデータからなる新しいテストスイートを構築し、SOTA多言語音声モデルを評価する。 その結果, LIDの精度は23%, CERは18%向上した。 アクセントと方言のデータでは、最も良い提出は30.2%低いCERと15.7%高いLIDの精度を得た。
• 参考スコア（独自算出の注目度）: 107.57160730151975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent improvements in multilingual ASR have not been equally distributed across languages and language varieties. To advance state-of-the-art (SOTA) ASR models, we present the Interspeech 2025 ML-SUPERB 2.0 Challenge. We construct a new test suite that consists of data from 200+ languages, accents, and dialects to evaluate SOTA multilingual speech models. The challenge also introduces an online evaluation server based on DynaBench, allowing for flexibility in model design and architecture for participants. The challenge received 5 submissions from 3 teams, all of which outperformed our baselines. The best-performing submission achieved an absolute improvement in LID accuracy of 23% and a reduction in CER of 18% when compared to the best baseline on a general multilingual test set. On accented and dialectal data, the best submission obtained 30.2% lower CER and 15.7% higher LID accuracy, showing the importance of community challenges in making speech technologies more inclusive.
• Abstract（参考訳）: 近年の多言語ASRの改良は言語や言語に均等に分散されていない。 最先端(SOTA)ASRモデルを推進するために,Interspeech 2025 ML-SUPERB 2.0 Challengeを示す。 我々は200以上の言語、アクセント、方言のデータからなる新しいテストスイートを構築し、SOTA多言語音声モデルを評価する。 この課題はまた、DynaBenchに基づいたオンライン評価サーバを導入し、参加者のためのモデル設計とアーキテクチャの柔軟性を可能にした。 この挑戦は3チームから5つの応募を受け取り、いずれもベースラインを上回りました。 その結果,LIDの精度は23%,CERは18%向上した。 アクセントと方言のデータでは、最も良い提出は30.2%低いCERと15.7%高いLIDの精度を得ており、音声技術をより包括的にする上でのコミュニティの課題の重要性を示している。

関連論文リスト

• Seewo's Submission to MLC-SLM: Lessons learned from Speech Reasoning Language Models [4.917936997225074]
  MLC-SLM(Multilingual Conversational Speech Language Model Challenge)の両トラック用システム ASRのための音声モデルにおいて、推論と自己補正を明確に強化する多段階学習パイプラインを導入する。
  論文  参考訳（メタデータ） (2025-06-16T09:42:05Z)
• Dynamic-SUPERB Phase-2: A Collaboratively Expanding Benchmark for Measuring the Capabilities of Spoken Language Models with 180 Tasks [112.6716697906318]
  命令ベースユニバーサル音声モデルの包括的評価のためのオープンベンチマークであるDynamic-SUPERB Phase-2を提案する。 第1世代をベースとして、この第2バージョンには125の新しいタスクが含まれており、ベンチマークを合計180タスクに拡張している。 評価結果から, モデルが良好に機能することのないことが示唆された。
  論文  参考訳（メタデータ） (2024-11-08T06:33:22Z)
• Automatic Speech Recognition Advancements for Indigenous Languages of the Americas [0.0]
  The Second Americas (Americas Natural Language Processing) Competition Track 1 of NeurIPS (Neural Information Processing Systems) 2022年、Cechua、Guarani、Brbri、Kotiria、Wa'ikhanaの5つの先住民言語の自動音声認識システムの訓練タスクを提案した。 対象言語毎の最先端のASRモデルの微調整について,データ拡張法に富んだ多種多様な情報源からの音声データの約36.65時間を用いて述べる。 私たちは各言語で最高のモデルをリリースし、Wa'ikhanaとKotiriaの最初のオープンなASRモデルをマークしています。
  論文  参考訳（メタデータ） (2024-04-12T10:12:38Z)
• Findings of the 2023 ML-SUPERB Challenge: Pre-Training and Evaluation over More Languages and Beyond [87.4049283495551]
  2023年のMultilingual Speech Universal Performance Benchmark (ML-SUPERB) Challengeは、宣言されたSUPERBフレームワークに拡張される。 この挑戦は12のモデル提出と54の言語コーパスを集め、154の言語を含む包括的なベンチマークをもたらした。 この結果は、単にスケーリングモデルが多言語音声タスクにおける決定的な解決策ではないことを示唆している。
  論文  参考訳（メタデータ） (2023-10-09T08:30:01Z)
• Arabic Speech Recognition by End-to-End, Modular Systems and Human [56.96327247226586]
  我々は、エンドツーエンド変換器ASR、モジュール型HMM-DNN ASR、および人間の音声認識のための包括的なベンチマークを行う。 ASRでは、エンドツーエンドの作業が12.5%、27.5%、23.8%のWERとなり、それぞれMGB2、MGB3、MGB5の新たなパフォーマンスマイルストーンとなった。 以上の結果から,アラビア語における人的パフォーマンスは,平均3.6%のWERギャップを持つ機械に比べて,依然としてかなり優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-01-21T05:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。