論文の概要: Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

• arxiv url: http://arxiv.org/abs/2605.11663v1
• Date: Tue, 12 May 2026 07:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.661321
• Title: Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability
• Title（参考訳）: 全国のアカデミック能力評価から900Kスケールの学生反応分布を集計したマルチモーダルベンチマーク
• Authors: Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao,
• Abstract要約: 本稿では,日本の学術的能力の評価から構築したデータセットについて述べる。 合成またはキュレートされたデータに基づく既存のベンチマークとは異なり、本データセットは実際の試験レイアウト、図表、日本語教育用テキストを保存する。 これらの機能は、統一された評価フレームワークの下で、人間とモデルのパフォーマンスを直接比較することができる。
• 参考スコア（独自算出の注目度）: 15.624747496258173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Authentic school examinations provide a high-validity test bed for evaluating multimodal large language models (MLLMs), yet benchmarks grounded in Japanese K-12 assessments remain scarce. We present a multimodal dataset constructed from Japan's National Assessment of Academic Ability, comprising officially released middle-school items in Science, Mathematics, and Japanese Language. Unlike existing benchmarks based on synthetic or curated data, our dataset preserves real exam layouts, diagrams, and Japanese educational text, together with nationwide aggregated student response distributions (N $\approx$ 900{,}000). These features enable direct comparison between human and model performance under a unified evaluation framework. We benchmark recent multimodal LLMs using exact-match accuracy and character-level F1 for open-ended responses, observing substantial variation across subjects and strong sensitivity to visual reasoning demands. Human evaluation and LLM-as-judge analyses further assess the reliability of automatic scoring. Our dataset establishes a reproducible, human-grounded benchmark for multimodal educational reasoning and supports future research on evaluation, feedback generation, and explainable AI in authentic assessment contexts. Our dataset is available at: https://github.com/KyosukeTakami/gakucho-benchmark
• Abstract（参考訳）: 正当性試験は多モーダル大言語モデル(MLLM)を評価するための高妥当性試験ベッドを提供するが,日本語K-12評価に基づくベンチマークは乏しい。 本稿では,日本の学術能力評価(National Assessment of Academic Ability)から構築したマルチモーダルデータセットについて述べる。 合成データやカリキュラムデータに基づく既存のベンチマークとは違って,本データセットでは,実際の試験レイアウト,図表,日本語教育用テキストを,全国的な学生回答分布(N $\approx$900{,}000)とともに保存する。 これらの機能は、統一された評価フレームワークの下で、人間とモデルのパフォーマンスを直接比較することができる。 我々は,近年のマルチモーダルLCMを,正確なマッチング精度と文字レベルF1を用いて評価し,被験者間でのかなりの変動と視覚的推論要求に対する強い感度を観察した。 人的評価とLCM-as-judge分析は自動スコアリングの信頼性をさらに評価する。 我々のデータセットは、再現可能な人間によるマルチモーダル教育推論のベンチマークを確立し、真の評価文脈における評価、フィードバック生成、説明可能なAIに関する将来の研究を支援する。 私たちのデータセットは、https://github.com/Kyosuke Takami/gakucho-benchmarkで公開されています。

関連論文リスト

• Machine-Assisted Grading of Nationwide School-Leaving Essay Exams with LLMs and Statistical NLP [0.0]
  大規模言語モデル(LLM)は、オープンエンド試験応答の迅速かつ一貫した自動評価を可能にする。 我々は、公式カリキュラムベースのルーリックを運用し、LLMと統計自然言語処理(NLP)に基づく評価と人間のパネルスコアを比較した。 その結果, 自動スコアリングは, 人間のレーダに匹敵する性能を達成でき, 人間のスコアリング範囲に該当する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2026-01-22T20:44:39Z)
• Automatic Legal Writing Evaluation of LLMs [10.74636407144071]
  oab-benchは、最近の試験版から7つの分野にわたる105の質問からなるベンチマークである。 Claude-3.5 Sonnetは10点中平均スコア7.93点で21点の試験に合格した。 実験の結果,OpenAIのo1のようなフロンティアモデルでは,承認試験の評価において,人間のスコアと強い相関が得られた。
  論文  参考訳（メタデータ） (2025-04-29T22:16:39Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Disce aut Deficere: Evaluating LLMs Proficiency on the INVALSI Italian Benchmark [12.729687989535359]
  大規模言語モデル(LLM)を英語以外の言語で評価することは、その言語的汎用性、文化的妥当性、そして多様なグローバルな文脈における適用性を保証するために不可欠である。 InVALSIテストは、イタリア全土の教育能力を測定するために設計された、確立された評価セットである。
  論文  参考訳（メタデータ） (2024-06-25T13:20:08Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Benchmarking Foundation Models with Language-Model-as-an-Examiner [47.345760054595246]
  本稿では,新しいベンチマークフレームワークLanguage-Model-as-an-Examinerを提案する。 LMは、その知識に基づいて質問を定式化し、基準のない方法で応答を評価する、知識に富んだ検査者として機能する。
  論文  参考訳（メタデータ） (2023-06-07T06:29:58Z)
• Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
  本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。 人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。 また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
  論文  参考訳（メタデータ） (2023-05-21T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。