論文の概要: QuranicMMLU: A Cognitively-Aware Benchmark for Evaluating Generative AI Solutions on Quranic Linguistic Knowledge
- arxiv url: http://arxiv.org/abs/2609.22038v1
- Date: Fri, 18 Sep 2026 17:30:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.203009
- Title: QuranicMMLU: A Cognitively-Aware Benchmark for Evaluating Generative AI Solutions on Quranic Linguistic Knowledge
- Title（参考訳）: QuranicMMLU: クラニック言語知識に基づく生成AIソリューション評価のための認知的知識ベンチマーク
- Abstract要約: QuranicMMLUは、アラビア語で生成AIを評価するためのベンチマークである。
我々は,Phonology, Morphology, Syntax, Semantics, Pragmaticsにまたがる5ピラークレーンの分類法を構築した。
得られたデータセットは980の人間レビューされた質問で構成され、それぞれがオープンエンドと複数選択の形式で発行される。
- 参考スコア（独自算出の注目度）: 1.3747502939440057
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce QuranicMMLU, a benchmark for evaluating generative AI on Quranic Arabic across multiple dimensions of linguistic complexity. Existing Quranic benchmarks center on general question answering and semantic retrieval, without probing specific linguistic competencies or stratifying by cognitive demand and verse difficulty. We construct a five-pillar Quranic taxonomy spanning Phonology, Morphology, Syntax, Semantics, and Pragmatics, with 31 leaves covering phenomena from tajwīd and root-and-pattern morphology to occasions of revelation and inter-surah coherence. For each leaf we generate questions stratified by Bloom's cognitive level and verse perplexity, then have LLM as a judge to independently answer and score every item and route the annotations to manual review. The resulting dataset comprises 980 human-reviewed questions, each issued in both open-ended and multiple-choice form. We benchmark 12 systems on these items and find that the Islamic-specialized model leads, yet every system scores higher on multiple-choice accuracy (average 84%) than open-ended answer quality (average 60%): the two rankings agree closely (Kendall's τ=0.73), but multiple-choice scoring hides failures that surface only once answer choices are removed. QuranicMMLU thus offers a rigorous, linguistically grounded framework for evaluating Arabic NLP in the Quranic domain.
- Abstract（参考訳）: 言語的複雑さの多次元にわたるクラーニックアラビア語における生成AIを評価するためのベンチマークであるQuranicMMLUを紹介する。
既存のクラーニックのベンチマークは、特定の言語能力を探したり、認知的な要求や逆の難しさによる階層化を行なわずに、一般的な質問応答と意味検索に重点を置いている。
形態学, 形態学, 構文学, セマンティックス, プラグマティクスにまたがる5本の柱状クレーンの分類学を構築し, タジウィドや根とパターンの形態学から、啓示やシュラー間のコヒーレンスに至る現象を31本の葉でカバーする。
各葉について、ブルームの認知レベルと外見の難易度に階層化された質問を生成し、LLMを裁判官として、各項目を独立して回答し、スコア付けし、アノテーションを手作業によるレビューにルーティングする。
得られたデータセットは980の人間レビューされた質問で構成され、それぞれがオープンエンドと複数選択の形式で発行される。
我々はこれらの項目について12のシステムをベンチマークし、イスラム特化モデルがリードしていることを確かめるが、全てのシステムは、オープンエンドの回答品質(平均60%)よりも複数の選択精度(平均84%)が高い。
クラーニックMMLUは、クラーニック領域におけるアラビア語のNLPを評価するための厳格で言語的に根ざした枠組みを提供する。
関連論文リスト
- A Corpus-Aligned Uthmani-to-Standard Quranic Word Mapping and a Deterministic Recitation Validator [0.0]
クラーニック文字は2つの正書法で配布されており、すべての印刷されたムシャフで使用されるウスマニ文字と、すべての主要なアラビア語のNLPツールが構築される標準アラビア語形式(Imla'i)である。
我々は2,290対のコーパス整列 Uthmani-to-Standard ワードマッピングを作成し,完全な6,236進法を両正書法に整列させて構築した。
我々は,4階層の逆マッチング探索と単語エラー率グレードフィードバックを用いた,決定論的でLLMのないクラニック・リサイクリング・バリケータを構築した。
論文 参考訳（メタデータ） (2026-09-14T03:20:42Z) - Fanar-Sadiq: A Multi-Agent Architecture for Grounded Islamic QA [14.54455982763367]
ファナー・サディク (Fanar-Sadiq) は、アラビア語/英語の多言語アシスタント。
イスラム関連のクエリをエージェント型ツール使用アーキテクチャ内の特殊なモジュールにルーティングする。
一般向けイスラムQAベンチマークによるエンドツーエンドシステムの評価を行った。
論文 参考訳（メタデータ） (2026-03-09T15:35:12Z) - DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。
MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
論文 参考訳（メタデータ） (2025-10-31T15:17:06Z) - Automatic Pronunciation Error Detection and Correction of the Holy Quran's Learners Using Deep Learning [0.0]
高品質なQuranicデータセットを生成するために、98%の自動パイプラインを構築しています。
私たちはカスタムのQuran Phonetic Scriptを使ってTajweedルールをエンコードしています。
すべてのコード、データ、モデルをオープンソースとしてリリースしています。
論文 参考訳（メタデータ） (2025-08-27T15:28:46Z) - Cross-Language Approach for Quranic QA [1.0124625066746595]
クルアーンのQAシステムは、世界中の10億人以上の人々のための神聖なテキストであるクルアーンの深い理解を促進するため、重要な重要性を保っている。
これらのシステムは、現代標準アラビア語で書かれた質問と、古典アラビア語で書かれたクラーン語の詩で見つかった回答の言語的相違など、固有の課題に直面している。
我々は、機械翻訳を通じてデータセットを拡張して強化し、アラビア語の質問を英語に翻訳し、アラビア語の質問を言い換えて言語的多様性を創出し、クァラン語の英訳から回答を抽出し、多言語学習要件に適合させることにより、クロスランゲージのアプローチを採用する。
論文 参考訳（メタデータ） (2025-01-29T07:13:27Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - A Benchmark Dataset with Larger Context for Non-Factoid Question Answering over Islamic Text [0.16385815610837165]
本稿では,Quranic Tafsir と Ahadith の領域内で質問応答を目的とした包括的データセットについて紹介する。
このデータセットは、73,000以上の質問応答ペアからなる堅牢なコレクションで構成されており、この特殊なドメインで報告されている最大のデータセットである。
本稿では,データセットのコントリビューションを強調しながら,その後の人的評価から,既存の自動評価手法の限界に関する批判的な洞察が得られた。
論文 参考訳（メタデータ） (2024-09-15T19:50:00Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳（メタデータ） (2022-09-20T07:04:24Z) - Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。
複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。
提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
論文 参考訳（メタデータ） (2020-10-19T06:15:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。