論文の概要: MEENA (PersianMMMU): Multimodal-Multilingual Educational Exams for N-level Assessment

• arxiv url: http://arxiv.org/abs/2508.17290v1
• Date: Sun, 24 Aug 2025 10:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.446933
• Title: MEENA (PersianMMMU): Multimodal-Multilingual Educational Exams for N-level Assessment
• Title（参考訳）: MEENA (PersianMMMU):Nレベル評価のためのマルチモーダル多言語教育評価
• Authors: Omid Ghahroodi, Arshia Hemmat, Marzia Nouri, Seyed Mohammad Hadi Hosseini, Doratossadat Dastgheib, Mohammad Vali Sanian, Alireza Sahebi, Reihaneh Zohrabi, Mohammad Hossein Rohban, Ehsaneddin Asgari, Mahdieh Soleymani Baghshah,
• Abstract要約: MEENAは、科学、推論、人間レベルの理解タスクにまたがってペルシアのVLMを評価するために設計された最初のデータセットである。 私たちのデータセットは、およそ7500のペルシア語と3,000の英語の質問からなり、推論、数学、物理学、図表、チャート、ペルシアの芸術と文学など幅広いトピックをカバーしています。
• 参考スコア（独自算出の注目度）: 14.907696079975231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large vision-language models (VLMs) have primarily focused on English, with limited attention given to other languages. To address this gap, we introduce MEENA (also known as PersianMMMU), the first dataset designed to evaluate Persian VLMs across scientific, reasoning, and human-level understanding tasks. Our dataset comprises approximately 7,500 Persian and 3,000 English questions, covering a wide range of topics such as reasoning, mathematics, physics, diagrams, charts, and Persian art and literature. Key features of MEENA include: (1) diverse subject coverage spanning various educational levels, from primary to upper secondary school, (2) rich metadata, including difficulty levels and descriptive answers, (3) original Persian data that preserves cultural nuances, (4) a bilingual structure to assess cross-linguistic performance, and (5) a series of diverse experiments assessing various capabilities, including overall performance, the model's ability to attend to images, and its tendency to generate hallucinations. We hope this benchmark contributes to enhancing VLM capabilities beyond English.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)の最近の進歩は、他の言語に限られた注意を払って、主に英語に焦点を当てている。 このギャップに対処するために、科学、推論、人間レベルの理解タスクにまたがってペルシアのVLMを評価するために設計された最初のデータセットであるMEENA(ペルシャMMMU)を紹介します。 私たちのデータセットは、およそ7500のペルシア語と3,000の英語の質問からなり、推論、数学、物理学、図表、チャート、ペルシアの芸術と文学など幅広いトピックをカバーしています。 MEENAの主な特徴は,(1)小学校から中学校までの教育レベルの多様さ,(2)難易度や説明的回答を含む豊富なメタデータ,(3)文化的ニュアンスを保存したペルシャ語資料,(4)言語横断的なパフォーマンスを評価するバイリンガル構造,(5)全体的なパフォーマンス,モデルが画像に参画する能力,および幻覚を発生させる傾向などである。 このベンチマークが、英語以外のVLM機能の向上に貢献できることを願っています。

関連論文リスト

• VLM@school -- Evaluation of AI image understanding on German middle school knowledge [0.0]
  本稿では、視覚言語モデル(VLM)の能力を評価するために設計された新しいベンチマークデータセットを提案する。 このデータセットは、数学、歴史、生物学、宗教を含む9つの領域にまたがる実際の中学カリキュラムから導かれる。 我々は,複数の次元にわたる最先端のオープンウェイトVLM13種の評価を行った。
  論文  参考訳（メタデータ） (2025-06-13T09:20:41Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model [66.17354128553244]
  多くのLVLM(Large Vision-Language Models)は、主に英語のデータに基づいて訓練されている。 異なる言語群に対する学習がいかに異なるかを検討する。 私たちはCenturio(100言語LVLM)をトレーニングし、14のタスクと56の言語を対象とした評価で最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-01-09T10:26:14Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language? [3.4812080203308984]
  ハヤム・チャレンジ(Khayyam Challenge、ペルシア語MMLU)は、ペルシアの試験から抽出された38の多様なタスクから得られた20,192の4つの質問のコレクションである。 Khayyam Challengeの主な目的は、ペルシア語をサポートするLLMの厳格な評価を促進することである。
  論文  参考訳（メタデータ） (2024-04-09T22:38:13Z)
• Benchmarking Large Language Models for Persian: A Preliminary Study Focusing on ChatGPT [4.574416868427695]
  本稿では,ペルシア語に対する大規模言語モデル(LLM)の有効性について検討する。 本稿では,ペルシャ語タスクにおけるLSMの総合的なベンチマーク研究について紹介する。
  論文  参考訳（メタデータ） (2024-04-03T02:12:29Z)
• GAOKAO-MM: A Chinese Human-Level Benchmark for Multimodal Models Evaluation [55.2480439325792]
  LVLM(Large Vision-Language Models)は画像認識と言語理解に優れた能力を示す。 中国大学入学試験(GAokao-MM)に基づくマルチモーダルベンチマークであるGAokao-MMを提案する。 GPT-4-Vison(48.1%)、Qwen-VL-Plus(41.2%)、Gemini-Pro-Vision(35.1%)が上位3位である。
  論文  参考訳（メタデータ） (2024-02-24T06:57:15Z)
• M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models [76.88692952308084]
  M3Examは、多言語、マルチモーダル、マルチレベルコンテキストにおける大規模言語モデル(LLM)を評価するためのベンチマークである。 M3Examには、9つの言語で12,317の質問があり、3つの教育レベルがある。 我々は,M3Exam上でのLLMの性能評価を行い,GPT-4を含む現在のモデルが多言語テキストに苦戦していることを確認した。
  論文  参考訳（メタデータ） (2023-06-08T13:21:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。