論文の概要: Benchmarking Arabic Dialects for Math Problems

• arxiv url: http://arxiv.org/abs/2610.28607v1
• Date: Tue, 20 Oct 2026 17:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.958845
• Title: Benchmarking Arabic Dialects for Math Problems
• Title（参考訳）: 数学問題に対するアラビア方言のベンチマーク
• Abstract要約: DAR-MGSM (Dialectal Arabic Multilingual Grade School Math) ベンチマークを紹介する。 DAR-MGSMは多段階推論を必要とする数学用語の問題からなる。 DAR-MGSMを用いた11のアラビア語中心および多言語大言語モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 54.314768358226296
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Mathematical reasoning remains underexplored for low-resource languages, including Dialectal Arabic. To bridge this gap, we introduce the DAR-MGSM (Dialectal Arabic Multilingual Grade School Math) Benchmark, the first manually curated benchmark for evaluating mathematical reasoning in Dialectal Arabic. DAR-MGSM consists of math word problems (MWPs) requiring multi-step reasoning and covers five major Arabic dialects alongside Modern Standard Arabic (MSA). The benchmark comprises two parallel versions: translated-only and translated & culturally localized. The latter version adapts entities and references to regional varieties. We evaluate eleven Arabic-centric and multilingual large language models on DAR-MGSM. The results show that the performance generally declines on the localized version, highlighting the challenges introduced by culturally grounded adaptations. However, the magnitude of this effect varies across models, with Arabic-centric models exhibiting different levels of sensitivity to localization. A mechanistic interpretability analysis shows that translated and localized variants of the same MWPs often induce distinct internal reasoning trajectories, even when aggregate accuracy remains similar. Overall, our results show that mathematical reasoning performance depends on both linguistic variety and cultural context.
• Abstract（参考訳）: 数学的な推論は、ディレクタル・アラビア(英語版)を含む低リソース言語ではまだ探索されていない。 このギャップを埋めるために、DAR-MGSM(Dialectal Arabic Multilingual Grade School Math)ベンチマークを導入する。 DAR-MGSMは、多段階の推論を必要とする数学語問題(MWP)で構成され、現代標準アラビア語(MSA)と共に5つの主要なアラビア語方言をカバーする。 ベンチマークは2つの並列バージョンで構成されている。 後者のバージョンは、エンティティと地域品種への参照を適応させる。 DAR-MGSMを用いた11のアラビア語中心および多言語大言語モデルの評価を行った。 その結果, 地域化版では, 文化に根ざした適応によってもたらされる課題を浮き彫りにし, 性能が低下することが示唆された。 しかし、この効果の大きさはモデルによって異なり、アラビア中心のモデルはローカライゼーションに対する感度の異なるレベルを示す。 機械論的解釈可能性分析により、同じMWPの翻訳および局所化された変種は、集約精度が類似している場合でも、しばしば異なる内部推論軌跡を誘導することを示した。 その結果, 数学的推論性能は言語的多様性と文化的文脈の両方に依存していることがわかった。

関連論文リスト

• Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues [40.426435358855464]
  我々は、現代標準アラビア語(MSA)と各国の方言において、13カ国を対象とする会話データセットであるArabCulture-Dialogueを紹介した。 このデータセットを用いて、 (i) 複数選択の文化的推論、 (ii) MSAと方言の機械翻訳、 (iii) 方言のステアリング生成という3つのベンチマークタスクを作成する。 実験の結果, MSAとアラビア方言のパフォーマンスギャップは依然として存在し, MSAの3つの課題において, MSAと比較してモデルが劣ることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T18:20:45Z)
• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
  本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。 湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。
  論文  参考訳（メタデータ） (2024-09-17T17:59:25Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• TARJAMAT: Evaluation of Bard and ChatGPT on Machine Translation of Ten Arabic Varieties [18.73290429469502]
  BardとChatGPTを10種類のアラビア語の機械翻訳能力について評価した。 我々の評価では、古典アラビア語(CA)、現代標準アラビア語(MSA)、およびいくつかの国レベルの方言の変種を網羅している。 しかし、CAとMSAでは、命令調整されたLLMがGoogle Translateのような商用システムに遅れを取っている。
  論文  参考訳（メタデータ） (2023-08-06T08:29:16Z)
• Language Models are Multilingual Chain-of-Thought Reasoners [83.37148309771378]
  本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。 MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。 言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
  論文  参考訳（メタデータ） (2022-10-06T17:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。