論文の概要: MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering

• arxiv url: http://arxiv.org/abs/2508.16357v1
• Date: Fri, 22 Aug 2025 13:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.386826
• Title: MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering
• Title（参考訳）: MizanQa: モロッコの法的質問に対する大規模言語モデルのベンチマーク
• Authors: Adil Bahaj, Mounir Ghogho,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を評価するベンチマークであるMizanQaを紹介する。 このデータセットは、現代標準アラビア語、イスラムマリキ法、モロッコの慣習法、フランスの法的な影響に基づいている。 多言語とアラビア語にフォーカスしたLLMによるベンチマーク実験は、かなりの性能差を示している。
• 参考スコア（独自算出の注目度）: 13.01152821327721
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid advancement of large language models (LLMs) has significantly propelled progress in natural language processing (NLP). However, their effectiveness in specialized, low-resource domains-such as Arabic legal contexts-remains limited. This paper introduces MizanQA (pronounced Mizan, meaning "scale" in Arabic, a universal symbol of justice), a benchmark designed to evaluate LLMs on Moroccan legal question answering (QA) tasks, characterised by rich linguistic and legal complexity. The dataset draws on Modern Standard Arabic, Islamic Maliki jurisprudence, Moroccan customary law, and French legal influences. Comprising over 1,700 multiple-choice questions, including multi-answer formats, MizanQA captures the nuances of authentic legal reasoning. Benchmarking experiments with multilingual and Arabic-focused LLMs reveal substantial performance gaps, highlighting the need for tailored evaluation metrics and culturally grounded, domain-specific LLM development.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、自然言語処理(NLP)の進歩を著しく加速させた。 しかし、アラビア語の法的文脈のような専門的かつ低資源の領域におけるそれらの効果は限定的であった。 本稿では,モロッコの法問題解決(QA)課題におけるLLMを評価するためのベンチマークであるミザンカ(MizanQa,アラビア語で「スケール」の意)を紹介する。 このデータセットは、現代標準アラビア語、イスラムマリキ法、モロッコの慣習法、フランスの法的な影響に基づいている。 MizanQAは、複数の問合せ形式を含む1,700以上の複数の質問を補完し、真正な法的推論のニュアンスを捉えている。 多言語とアラビア語に焦点を当てたLLMによるベンチマーク実験は、適切な評価指標と文化的基盤を持つドメイン固有のLLM開発の必要性を浮き彫りにして、大きなパフォーマンスギャップを浮き彫りにしている。

関連論文リスト

• HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark [54.73504952691398]
  我々は,抽出質問としてヘブライ語機械読解データセットの提供に着手した。 ヘブライ語の形態学的に豊かな性質はこの努力に挑戦している。 我々は,新しいガイドラインのセット,制御されたクラウドソーシングプロトコル,評価基準の改訂を考案した。
  論文  参考訳（メタデータ） (2025-08-03T15:53:01Z)
• MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
  MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。 それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。 効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
  論文  参考訳（メタデータ） (2025-03-13T15:59:20Z)
• Can Large Language Models Predict the Outcome of Judicial Decisions? [0.0]
  大規模言語モデル(LLM)は自然言語処理(NLP)において例外的な機能を示す。 LLaMA-3.2-3B や LLaMA-3.1-8B を含む最先端のオープンソース LLM を様々な構成でベンチマークする。 本結果は,タスク固有のコンテキストにおいて,細調整された小型モデルが大規模モデルに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-01-15T11:32:35Z)
• All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages [73.93600813999306]
  ALM-benchは、100言語にわたるLMMを評価するための、これまでで最大かつ最も包括的な取り組みである。 様々な言語でテキストと組み合わせた文化的に多様なイメージを理解し、推論する能力をテストすることで、既存のモデルに挑戦する。 このベンチマークは、真/偽、複数選択、オープンな質問など、さまざまな質問フォーマットを備えた、堅牢でニュアンスの高い評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-25T15:44:42Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
  本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。 湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。
  論文  参考訳（メタデータ） (2024-09-17T17:59:25Z)
• ArabLegalEval: A Multitask Benchmark for Assessing Arabic Legal Knowledge in Large Language Models [0.0]
  ArabLegalEvalは、大規模言語モデル(LLM)のアラビア語法的知識を評価するためのベンチマークデータセットである。 MMLUとLegalBenchのデータセットにインスパイアされたArabLegalEvalは、サウジアラビアの法的文書から得られた複数のタスクと、質問を合成する。 本研究の目的は、アラビア語の法的な問題を解くために必要な能力を分析し、最先端のLLMの性能をベンチマークすることである。
  論文  参考訳（メタデータ） (2024-08-15T07:09:51Z)
• Peacock: A Family of Arabic Multimodal Large Language Models and Benchmarks [29.819766942335416]
  MLLM(Multimodal large language model)は、複雑な推論と言語理解を必要とする幅広いタスクにおいて有効であることが証明されている。 我々は、強力なビジョンと言語能力を備えた、textitPeacockと呼ばれる、アラビア語のMLLMの包括的なファミリーを紹介する。
  論文  参考訳（メタデータ） (2024-03-01T23:38:02Z)
• One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
  この研究は、法域に対する新しいNLPベンチマークを導入している。 エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。 我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
  論文  参考訳（メタデータ） (2023-06-15T16:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。