論文の概要: Reliability of Claude Code as an Agentic AI Grading System for Handwritten University Exams
- arxiv url: http://arxiv.org/abs/2611.13217v2
- Date: Wed, 11 Nov 2026 14:20:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.896605
- Title: Reliability of Claude Code as an Agentic AI Grading System for Handwritten University Exams
- Title(参考訳): 手書き大学試験用エージェントAIグレーディングシステムとしてのクロードコードの信頼性
- Abstract要約: 本研究は,Claude Opus 4.6大言語モデルのエージェント展開であるClaude Codeの信頼性を,手書きの大学試験の格付けシステムとして検討した。
Claude Codeは、サウジアラビアのコンピュータグラフィックスコースで60人の学生が同意した20の中間論文を1件のエージェントセッションで評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines the reliability of Claude Code, an agentic deployment of the Claude Opus 4.6 large language model, as a grading system for handwritten university exams. Four research questions addressed agreement with expert human grading on total scores (RQ1), agreement across five question types from multiple choice to evaluative judgement (RQ2), consistency across two independent grading sessions one week apart (RQ3), and the accuracy of AI-generated feedback (RQ4). Claude Code graded the 20-mark mid-term papers of 60 consenting students in a Saudi computer graphics course in a single agentic session, guided by three rubric files. Reliability was estimated on disjoint samples: 20 papers for RQ1, RQ2 and RQ4, and 15 papers for RQ3. Analyses used Pearson correlation, mean absolute error, Bland-Altman analysis, weighted Cohen kappa, intraclass correlation, and a four-category coding scheme separating diagnostic from confirmation feedback. The author, as the sole subject-matter expert for the course, provided the human benchmark, so the design assesses agreement with a domain-expert reference rather than inter-rater reliability. AI grading agreed strongly with human grading on totals (r = 0.97; MAE = 0.85 marks) with a small but significant AI-positive bias of 0.68 marks, showed excellent test-retest consistency (ICC = 0.96), and produced accurate feedback (92.8% diagnostic; 97.8% confirmation). Drawing items were the outlier on three of four measures. Three failure modes recurred: keyword matching without conceptual depth, selection-state ambiguity on corrected multiple-choice answers, and region-of-attention drift on hand-drawn diagrams. The findings suggest that AI grading at this capability level can assist instructors on objective and short-form items under structural safeguards but is not yet ready to replace instructor judgement at boundary cases or on drawing items.
- Abstract(参考訳): 本研究は,Claude Opus 4.6大言語モデルのエージェント展開であるClaude Codeの信頼性を,手書きの大学試験における評価システムとして検討した。
4つの研究課題は,総合スコア(RQ1),複数選択から評価判断(RQ2)までの5つの質問タイプ間の合意,2つの独立した評価セッション間の一貫性(RQ3),AI生成フィードバックの正確性(RQ4)に関するものだ。
Claude Codeは、サウジアラビアのコンピュータグラフィックスコースの学生60名を対象に、3つのルーリックファイルでガイドされた1件のエージェントセッションで20件の中間論文を格付けした。
RQ1、RQ2、RQ4の20の論文とRQ3の15の論文である。
分析では、ピアソン相関、平均絶対誤差、ブランド・アルトマン解析、重み付けされたコーエンカッパ、クラス内相関、および診断と確認フィードバックを分離した4カテゴリの符号化方式を用いた。
著者は、このコースの唯一のテーママッターエキスパートとして、人間ベンチマークを提供しており、設計は、ラッター間の信頼性よりも、ドメイン専門家の基準との合意を評価する。
AIグレーディングは人間による総合成績(r = 0.97; MAE = 0.85 マーク)と強く一致し、AI陽性バイアスは0.68 マークで、優れたテスト-テスト整合性(ICC = 0.96)を示し、正確なフィードバック(92.8% 診断、97.8% 確認)を生み出した。
図面は4つの手段のうち3つのうち3つで外れた。
3つの障害モードが繰り返された: 概念的深さのないキーワードマッチング、修正された複数選択解に対する選択状態の曖昧さ、手書き図上でのアテンションドリフト。
この能力レベルでのAIグレーディングは、構造的保護の下での客観的および短期的な項目のインストラクターを支援することができるが、境界ケースや描画項目におけるインストラクターの判断を置き換える準備が整っていないことを示唆している。
関連論文リスト
- Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education [0.3686530147760243]
本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。
Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
論文 参考訳(メタデータ) (2026-09-13T04:55:55Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach [0.0]
本稿では,4つのフロンティア大言語モデルが,短いLinux/bashコマンド応答のグルーピングにおいて,専門家による判断を近似できるかどうかを評価する。
この研究は、認知の複雑さと運用への影響を組み合わせた4段階の認知分類を採用する。
Gemini3.0 Proは、ルックス誘導のプロンプトで、人間とAIの最高の合意を達成した。
論文 参考訳(メタデータ) (2026-07-02T17:01:47Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳(メタデータ) (2026-05-25T21:30:27Z) - A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts [0.0]
本稿では,5モデルコンセンサスプロトコルを通じて運用される武器対知識分類軸を提案する。
これは4つの公開ベンチマークから引き出された3,133のプロンプトに適用される。
3,133のプロンプトは3-of-5のしきい値に達したため、コンセンサスパイプラインは曖昧さを除いたプロンプトを生成する。
論文 参考訳(メタデータ) (2026-05-04T21:42:10Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳(メタデータ) (2026-01-14T11:37:00Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳(メタデータ) (2025-12-31T13:55:54Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - ChatGPT for automated grading of short answer questions in mechanical ventilation [0.0]
大規模言語モデル(LLM)は会話言語をシミュレートし、構造化されていない自由テキスト応答を解釈する。
215名の学生のデータを用いて,ChatGPT 4o の評価を行い,SAQ の評価を行った。
論文 参考訳(メタデータ) (2025-05-05T19:04:25Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳(メタデータ) (2023-08-03T12:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。