論文の概要: Almieyar: A Culturally Grounded Benchmark for Multi-Dialect Arabic Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.35564v1
• Date: Mon, 28 Sep 2026 16:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:48:26.423007
• Title: Almieyar: A Culturally Grounded Benchmark for Multi-Dialect Arabic Speech Recognition
• Title（参考訳）: Almieyar:多次元アラビア語音声認識のための文化的根拠付きベンチマーク
• Abstract要約: GPT-4o-transcribe、Voxtral-Mini-4B、Fanar-STT-LF、Whisper、SeamlessM4T-v2、wav2vec2ベースのモデルを含む12の最先端ASRシステムのゼロショットをベンチマークする。 GPT-4o-transcribeはWER全体の35.0%で最低であり、Voxtral-Mini-4B、Fanar-STT-LF、Whisper-Large-v3はそれぞれ41.1%、45.9%、49.5%となっている。
• 参考スコア（独自算出の注目度）: 5.453783297006094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Arabic speech technology has largely focused on Modern Standard Arabic, leaving the living dialects spoken by hundreds of millions under-served. We introduce ALMIEYAR, a culturally grounded ASR benchmark covering 17 Arabic dialects across six families, built entirely from newly recorded speech unseen by existing models. Dialect-community coordinators selected culturally relevant images across 10 topics, and native speakers described them through five structured scenarios, yielding approximately 50 minutes per dialect (13.7 hours total). We benchmark 12 state-of-the-art ASR systems zero-shot, including GPT-4o-transcribe, Voxtral-Mini-4B, Fanar-STT-LF, Whisper, SeamlessM4T-v2, and wav2vec2-based models. GPT-4o-transcribe achieves the lowest overall WER at 35.0%, followed by Voxtral-Mini-4B, Fanar-STT-LF, and Whisper-Large-v3 at 41.1%, 45.9%, and 49.5%, respectively, indicating substantial remaining errors across Arabic dialect communities. Performance varies considerably across dialect groups, with no model performing uniformly best across all groups. WER alone also obscures dialectal ASR behaviour: wav2vec2-based models show large WER/CER gaps, where character-level agreement remains much higher than word-level accuracy, motivating joint WER/CER reporting. ALMIEYAR provides a unified benchmark for culturally grounded Arabic ASR evaluation, including the first published benchmark for Ahwazi Arabic.
• Abstract（参考訳）: アラビア語の音声技術は、現代標準アラビア語に主に焦点を合わせており、何億人もの未熟な人々が話す生きた方言を残している。 ALMIEYARは、6つの家系にまたがる17のアラビア方言をカバーする文化基盤のASRベンチマークである。 方言コミュニティコーディネーターは10のトピックにまたがって文化的に関係のあるイメージを選択し、ネイティブスピーカーは5つの構造化シナリオを通してそれらを記述し、1方言あたり約50分(13.7時間)を出力した。 GPT-4o-transcribe、Voxtral-Mini-4B、Fanar-STT-LF、Whisper、SeamlessM4T-v2、wav2vec2ベースのモデルを含む12の最先端ASRシステムのゼロショットをベンチマークする。 GPT-4o-transcribeはWER全体の35.0%で最低であり、Voxtral-Mini-4B、Fanar-STT-LF、Whisper-Large-v3はそれぞれ41.1%、45.9%、49.5%となっている。 パフォーマンスは方言群によって大きく異なり、すべてのグループで一様に最高のパフォーマンスを示すモデルは存在しない。 wav2vec2ベースのモデルは大きなWER/CERギャップを示しており、文字レベルの合意は単語レベルの精度よりもはるかに高く、共同WER/CERレポートを動機付けている。 ALMIEYARは、Ahwazi Arabicの最初のベンチマークを含む、文化的に根拠付けられたアラビア語のASR評価のための統一されたベンチマークを提供する。

関連論文リスト

• Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
  サウジアラビア方言の古風なベンチマークを示す。 9カテゴリの分類で466のエラー事例を分類する。 一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
  論文  参考訳（メタデータ） (2026-08-30T19:31:35Z)
• Bulbul: A Dataset for Dialectal Arabic Speech Recognition [23.17840151160424]
  アラブ11カ国275人の話者から収集した多言語アラビア語のASRデータセットであるBULBULについて述べる。 BULBULは、構造化された方言と副方言のカバー、および、彼らの母語方言アクセントの参加者によって話される古典アラビア語と現代アラビア語の録音を含んでいる。
  論文  参考訳（メタデータ） (2026-08-22T13:27:12Z)
• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
  多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか? 6つの共通英語方言にまたがる大規模ベンチマークを構築した。 マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-16T17:56:55Z)
• UI-Level Evaluation of ALLaM 34B: Measuring an Arabic-Centric LLM via HUMAIN Chat [1.2788586581322734]
  サウジのデータとAI機関は、アラビアに焦点を当てたモデルのファミリーである$allaM$を導入した。 最も有能な$ALLaM-34B$は、HUMAIN Chatを開発したHUMAINによって採用された。 本稿では,拡張されたUIレベルの$ALLaM-34B$について述べる。
  論文  参考訳（メタデータ） (2025-08-24T14:32:15Z)
• Advancing Dialectal Arabic to Modern Standard Arabic Machine Translation [22.369277951685234]
  本稿では,レバンタ語,エジプト語,湾岸方言のDA-MSA翻訳の進展に寄与する2つの中核的貢献について述べる。 ゼロショット,チェーン・オブ・シント,提案手法であるAra-TEaR法を改良した。 微調整 LLM では、量子化された Gemma2-9B モデルが 49.88 の chrF++ スコアを獲得し、ゼロショット GPT-4o (44.58) を上回った。
  論文  参考訳（メタデータ） (2025-07-27T14:37:53Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。