論文の概要: Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education
- arxiv url: http://arxiv.org/abs/2609.14284v2
- Date: Tue, 15 Sep 2026 06:18:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.087949
- Title: Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education
- Title（参考訳）: アウトカムベース教育における手書き検査の基準レベルグレーディングのための視覚言語モデル
- Abstract要約: 本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。
Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
- 参考スコア（独自算出の注目度）: 0.3686530147760243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Criterion-level grading connects examination performance to learning outcomes, but manual marking introduces workload and variation between markers. This study evaluates vision-language models (VLMs) for handwritten outcome-based assessment across five dimensions: accuracy, human agreement, repeated-run reliability, error concentration, and explanation quality. Using 1,982 criterion-level records from 485 undergraduate examination answers, we compare 20 configurations spanning Qwen2.5-VL, InternVL3, Pixtral, a Donut baseline, and a cascade ensemble. Evaluation setups include zero-shot prompting, few-shot prompting, partial fine-tuning, and Low-Rank Adaptation (LoRA). Two independent faculty markers regraded all 291 test criteria, providing a human agreement baseline on the same assessment materials. Qwen2.5-VL with LoRA achieved Quadratic Weighted Kappa (QWK) of 0.727 and mean absolute error of 0.435 marks against the examiner, compared with mean human-pair QWK of 0.551. This comparison reflects calibration to the examiner's training marks. LoRA outperformed partial fine-tuning for all three instruction-tuned VLMs, while few-shot prompting reduced QWK in every configuration with valid prompted scores. Aggregate reliability and exact repeatability diverged: intraclass correlations ranged from 0.790 to 0.874, yet 50.2-63.6% of criteria changed marks across five sampled runs. Attention-guided deletion showed no statistically significant advantage over random masking, and four faculty reviewers reached no consensus on explanation usefulness. These findings highlight the need for rubric-specific calibration, repeatable scoring, review of consequential errors, and separate validation of explanations. The released evaluation protocol supports criterion-level assessment research and grading tools with teacher oversight.
- Abstract（参考訳）: 基準レベルのグレーディングは、試験のパフォーマンスを学習結果に結びつけるが、手作業によるマーキングは、作業負荷とマーカー間のばらつきを導入している。
本研究では,手書き結果に基づく評価のための視覚言語モデル(VLM)を,精度,人的合意,繰り返し実行信頼性,エラー集中,説明品質の5次元にわたって評価する。
大学生485名を対象に,Qwen2.5-VL,InternVL3,Pixtral,Donutベースライン,カスケードアンサンブルにまたがる構成を1,982件比較した。
評価設定には、ゼロショットプロンプト、少数ショットプロンプト、部分的な微調整、ローランド適応(LoRA)が含まれる。
2つの独立した教員マーカーが291の試験基準をすべて見直し、ヒトの合意基準を同じ評価材料に設定した。
ローラのQwen2.5-VLは0.727の準重み付きカッパ(QWK)を達成し、試験者に対して0.435の絶対誤差を平均0.551の人間対QWKと比較した。
この比較は、検査者のトレーニングマークの校正を反映している。
LoRAは3つの命令調整されたVLMで部分的な微調整に優れていたが、数発のプロンプトにより全ての構成でQWKが低下した。
クラス内相関は0.790から0.874までであったが、50.2-63.6%の基準が変更された。
注意誘導的削除はランダムマスキングに対して統計的に有意な優位性を示しず、4人の教員は説明の有用性について合意に達しなかった。
これらの知見は, ルーブリック別校正, 繰り返しスコアリング, 逐次誤差のレビュー, 説明の別な検証の必要性を浮き彫りにした。
この評価プロトコルは,教師の監督による基準レベルの評価研究と評価ツールをサポートする。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Local Brushstroke Quality Assessment via Vision-Language Feedback [16.561215035945423]
本稿では,マルチモーダルLLMが書道における局所的な筆跡品質を評価し,教育的に有用な自然言語フィードバックを生成できるかどうかを考察する。
本研究では、3つのマルチモーダル LLM が5点順序尺度を用いて事前画像ペアの評価を行い、その出力を3人の専門書家によって割り当てられたスコアと比較する評価枠組みを構築した。
さらに,予備条件としてClaudeのRAG(Retrieval-Augmented Generation)を検討した結果,GPT-4oが最高性能(MAE=0.885)の絶対スコア精度(MAE)が得られた。
論文 参考訳（メタデータ） (2026-07-15T18:22:21Z) - Zero-Shot Vision-Language Models for Classroom Engagement Recognition: A Benchmark Study of Prompt Sensitivity and Cross-Dataset Generalization [0.44787896002954924]
広範に使われている5つの視覚言語モデル(VLM)を評価する。
本実験では, エンゲージメント認識のためのゼロショットVLMの3つの主要な故障モードを明らかにした。
論文 参考訳（メタデータ） (2026-06-20T03:53:40Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Evaluating the Ability of Large Language Models to Identify Adherence to CONSORT Reporting Guidelines in Randomized Controlled Trials: A Methodological Evaluation Study [7.142913983218931]
本研究は,現代LPMの精度と信頼性を評価することを目的とした。
各種医療専門分野にまたがる150個のRCTの黄金標準データセットを構築した。
トップパフォーマンスモデルであるGemini-2.5-FlashとDeepSeek-R1は、それぞれ0.280と0.282のコーエンのカッパ係数の0.634とほぼ同じマクロF1スコアを達成した。
論文 参考訳（メタデータ） (2025-11-17T08:05:15Z) - ChatGPT for automated grading of short answer questions in mechanical ventilation [0.0]
大規模言語モデル(LLM)は会話言語をシミュレートし、構造化されていない自由テキスト応答を解釈する。
215名の学生のデータを用いて,ChatGPT 4o の評価を行い,SAQ の評価を行った。
論文 参考訳（メタデータ） (2025-05-05T19:04:25Z) - SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits [31.98028879922584]
SummExecEditという新しいパイプラインとベンチマークを導入し、実際のエラーを検知し、正確な説明を提供する能力についてモデルを評価する。
トップパフォーマンスモデルであるClaude3-Opusは、ベンチマークでわずか0.49のジョイント検出と説明スコアを達成している。
説明ミスの4つの主要なタイプを特定し、その45.4%は、要約の完全に無関係な部分に焦点を当てている。
論文 参考訳（メタデータ） (2024-12-17T23:26:44Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳（メタデータ） (2023-08-03T12:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。