論文の概要: Mizan: A National Benchmark for Evaluating Large Language Models on Iraqi Arabic and the Iraqi Civic Context

• arxiv url: http://arxiv.org/abs/2609.13980v1
• Date: Sat, 12 Sep 2026 14:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.628989
• Title: Mizan: A National Benchmark for Evaluating Large Language Models on Iraqi Arabic and the Iraqi Civic Context
• Title（参考訳）: Mizan: イラクのアラビア語とイラクの市民文脈に基づく大規模言語モデルの評価のための国家ベンチマーク
• Abstract要約: イラクの大規模言語モデル(LLM)評価のための国家ベンチマークであるミザンを紹介する。 三山(みざん)は、六つの軸(方言理解、方言生成、MSA-Iraqi翻訳、公式文書フィールド抽出、安全)にまたがるベースライントラックとイラクのトラックである。 公開後3日でクローズドフロンティアモデルにまたがる27のシステムのパイロット評価により、4つの結果が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Arabic large-language-model (LLM) evaluation has matured around Modern Standard Arabic (MSA): aggregated leaderboards such as the Open Arabic LLM Leaderboard (OALL), HELM Arabic, and BALSAM rank models across dozens of MSA tasks, and frontier systems increasingly saturate them. Dialectal Arabic, the language Iraqis actually speak, remains nearly invisible to this infrastructure. We introduce Mizan ("the balance"), Iraq's national benchmark for evaluating LLMs on Iraqi Arabic and the Iraqi civic context: an MSA baseline track paired with an Iraqi track across six axes (dialect comprehension, dialect generation, bidirectional MSA-Iraqi translation, Iraq-specific knowledge, official-document field extraction, and safety), built from 340 originally authored, dually reviewed items with statistically audited answer positions and Wilson intervals on every published score. A pilot evaluation of 27 systems, spanning closed frontier models three days after release, open weights across size tiers, and an Arabic trio of commercial, open-specialized, and sovereign systems, yields four findings. The MSA track saturates while the Iraqi track discriminates, with a consistent 14-18-point per-model gap and statistically tied leaders. Official-document extraction confines every system to 32-56. Arabic-focused specialization behaves as MSA specialization: two dedicated Arabic models score below a size-matched generalist on the Iraqi track. And the safety-hardened tier of the newest model family deterministically refuses innocuous dialect-comprehension items as policy violations, an over-refusal mode invisible to MSA benchmarks. The platform enforces an integrity protocol of immutable snapshots, verification certificates, a human publication gate, and public retraction, all exercised during this study. Code and the public development set accompany the paper.
• Abstract（参考訳）: アラビア語の大言語モデル(LLM)の評価は、モダン・スタンダード・アラビア(MSA)を中心に成熟しており、オープン・アラビアのLLMリーダーボード(OALL)、HELMアラビア(英語版)、数十のMSAタスクにわたるBALSAMランキングモデルなどの総合的なリーダーボードやフロンティアシステムの飽和度が増している。 イラク語を実際に話す方言アラビア語は、このインフラにはほとんど見えないままである。 イラクのLLMをイラクのアラビア語とイラクの市民の文脈で評価するための、イラクの国定ベンチマークであるMizan(バランス)を紹介します。6つの軸(方言理解、方言生成、双方向のMSA-Iraqi翻訳、イラク固有の知識、公式文書のフィールド抽出、安全)でイラクのトラックと組み合わせたMSAベースライントラック。 公開後3日でクローズドフロンティアモデルにまたがる27のシステム、サイズ階層にまたがるオープンウェイト、商用、オープンスペシャライズド、および主権システムからなるアラビアのトリオの試験的な評価により、4つの結果が得られた。 MSAのトラックは飽和し、イラクのトラックは差別化され、一貫した14-18ポイントのモデル間ギャップと統計的に結びついたリーダーが存在している。 公式文書抽出は全てのシステムを32-56に制限する。 アラビア語に焦点を当てた特殊化は、MSAの専門化として振る舞う:2つの専用アラビアモデルはイラクのトラックでサイズにマッチしたジェネラリストの下にスコアを付ける。 そして、最新のモデルファミリーの安全性が強化された階層は、政策違反として無害な方言理解項目を決定的に拒否する。 このプラットフォームでは、不変スナップショット、検証証明書、公開ゲート、パブリックリトラクションの整合性プロトコルが実施されている。 コードと公共開発セットが同紙に添付されている。

関連論文リスト

• EDRAC: Benchmarking Arabic Dialect Reading Comprehension [43.861708347921336]
  EDRACは、方言のアラビア機械読解(MRC)と生成的QAのための最初の大規模ベンチマークである。 EDRACは、自然発生の音声相互作用に由来する499の通路と、対応する4,977のQA対を含む。 その結果,意味的回答の品質と方言の忠実度の間には大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2026-09-01T11:51:49Z)
• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• BALSAM: A Platform for Benchmarking Arabic Large Language Models [34.50348949235453]
  BALSAMは、アラビア語のLLM開発と評価を進めることを目的とした総合的なコミュニティ主導のベンチマークである。 14の幅広いカテゴリから78のNLPタスクが含まれており、52Kのサンプルは37Kテストと15K開発に分割されている。
  論文  参考訳（メタデータ） (2025-07-30T12:16:39Z)
• 3LM: Bridging Arabic, STEM, and Code through Benchmarking [0.7227323884094952]
  3LMはアラビア語用に特別に設計された3つのベンチマークのスイートである。 1つ目は、アラビア語の教科書と教育用ワークシートから自然に派生した、STEM関連の質問応答ペアのセットである。 2つ目は、同じソースを用いて合成されたSTEM質問である。 第3のベンチマークは、2つの広く使用されているコードベンチマークを注意深く翻訳することで構築されたコード生成に焦点を当てている。
  論文  参考訳（メタデータ） (2025-07-21T17:58:27Z)
• AIN: The Arabic INclusive Large Multimodal Model [71.29419186696138]
  AIN (英語: AIN) は、英語とアラビア語で卓越するように設計された英語とアラビア語のバイリンガルLMMである。 AINは最先端のアラビア語のパフォーマンスを実証する一方で、英語の視覚能力も優れている。 AINの優れた能力は、先進的なマルチモーダル生成AIツールでアラビア語話者を強化するための重要なステップである。
  論文  参考訳（メタデータ） (2025-01-31T18:58:20Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。