論文の概要: LLMs as Teaching Assistants for Mathematics Exam Grading: Reliability, and Practical Usability
- arxiv url: http://arxiv.org/abs/2607.01247v1
- Date: Mon, 01 Jun 2026 18:00:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-05 17:01:29.634513
- Title: LLMs as Teaching Assistants for Mathematics Exam Grading: Reliability, and Practical Usability
- Title（参考訳）: 数学のエクストリーム・グラディングの教材としてのLCM--信頼性と実用性-
- Abstract要約: オープンエンド数学試験は、推論、証明構築、アルゴリズム思考、中間段階のコミュニケーションを評価するため、価値がある。
本稿では,6つの現代大規模言語モデル (LLM) の構成を,大学生の離散的数学試験のための段階的アシスタントとして評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-ended mathematics exams are valuable because they assess reasoning, proof construction, algorithmic thinking, and communication of intermediate steps. They are also difficult to grade at scale because instructors must apply partial-credit rubrics consistently while giving feedback that helps students repair misconceptions. This paper evaluates six contemporary large language model (LLM) configurations, Gemini 3.1 Pro Extended, Gemini 3.5 Flash, ChatGPT 5.5 Pro Extended, ChatGPT 5.5 Thinking, Claude Pro Opus 4.7, and Claude Sonnet 4.6, as grading assistants for an undergraduate discrete mathematics examination. The study compares two grading policies. The BASELINE policy uses a stricter rubric-following prompt that emphasizes explicit evidence and complete justification. The LIBERAL policy was added after preliminary grading showed that the baseline condition sometimes applied harsh point deductions and failed to recognize valid partial reasoning. Agreement with human grading is measured at both the question and exam-total levels using mean absolute error, root mean squared error, normalized root mean squared error, Pearson correlation, and exact agreement. The results show that liberal partial-credit prompting reduces average question-level error for every evaluated model family. ChatGPT 5.5 Thinking (LIBERAL) has the lowest average question-level MAE (1.87) and RMSE (2.53), while Gemini 3.1 Pro Extended (LIBERAL) has the lowest total-score MAE (8.00) and RMSE (10.66). However, the strongest total-score Pearson correlation occurs under Gemini 3.1 Pro Extended (BASELINE) at 0.58, showing that point calibration and rank preservation remain distinct goals. We also report practical usability observations.
- Abstract（参考訳）: オープンエンド数学試験は、推論、証明構築、アルゴリズム思考、中間段階のコミュニケーションを評価するため、価値がある。
インストラクターは、学生が誤解を修復するのに役立つフィードバックを与えながら、部分的にクレディトなルーリックを一貫して適用しなければならないため、スケールのグレードも困難である。
本稿では,6つの現代大規模言語モデル (LLM) の構成,Gemini 3.1 Pro Extended, Gemini 3.5 Flash, ChatGPT 5.5 Pro Extended, ChatGPT 5.5 Thinking, Claude Pro Opus 4.7, Claude Sonnet 4.6 を,学部の離散数学試験における段階的アシスタントとして評価する。
この研究は2つの段階の政策を比較した。
BASELINEポリシーは、明確な証拠と完全な正当化を強調する厳格なルーリックフォロープロンプトを使用する。
LIBERAL ポリシーは,予備グレーティングの結果,基準条件が時として過酷な点減退を施し,有効部分的推論の認識に失敗したことが示唆された。
平均絶対誤差, 根平均二乗誤差, 正規化根平均二乗誤差, ピアソン相関, 正確な一致を用いて, 質問点と試験点レベルの一致を計測した。
その結果,リベラルな部分クレディットの促進により,評価モデル群毎の平均質問レベル誤差が低減されることがわかった。
ChatGPT 5.5 Thinking (LIBERAL) は平均質問レベル MAE (1.87) とRMSE (2.53) が最も低く、Gemini 3.1 Pro Extended (LIBERAL) は最高スコア MAE (8.00) とRMSE (10.66) である。
しかし、ゲミニ3.1 Pro Extended (BASELINE) の0.58で最強のトータルスコアピアソン相関が発生し、点校正と階級保存は相変わらず異なる目標であることを示した。
また,実際のユーザビリティ観測についても報告する。
関連論文リスト
- Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education [0.3686530147760243]
本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。
Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
論文 参考訳（メタデータ） (2026-09-13T04:55:55Z) - Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity? [0.0]
Draft-verify-reviseは推論時間計算のスケーリングのためのオーケストレーションパターンである。
Draft-verify-reviseパイプラインは、デリケートなシフトを警戒し、各ステージで意図した参照を明示するべきである。
論文 参考訳（メタデータ） (2026-09-10T19:49:06Z) - SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning [54.402550664505576]
オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。
長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。
Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
論文 参考訳（メタデータ） (2026-08-14T12:57:02Z) - GTBench: A Curriculum-Grounded Benchmark for Evaluating LLMs as Mathematical Research Assistants in Graph Theory [0.0134610399747818]
GTBenchは、グラフ理論の数学的研究アシスタントとして、大規模言語モデル(LLM)を評価するためのカリキュラムベースベンチマークである。
GPT-5, Claude Sonnet 4.6, Gemini 2.5 Flash-Lite, Llama 3.3 70B, Mistral Large 3 の評価を行った。
論文 参考訳（メタデータ） (2026-06-02T04:40:25Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。
新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。
このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
論文 参考訳（メタデータ） (2026-04-02T08:22:17Z) - Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks [0.0]
本研究では,大言語モデル (LLM) が,内容の正しさが一定である場合の書き込みスタイルに基づいて,暗黙のグレーディングバイアスを示すか否かを検討する。
2つの最先端のオープンソース LLM は、1-10 スケールでレスポンスをグレードし、内容の正確性のみを評価し、書き込みスタイルを無視するように指示された。
以上の結果から,Essay/Writingタスクにおける統計的に有意なグレーディングバイアスが明らかとなった。
論文 参考訳（メタデータ） (2026-03-19T11:20:07Z) - QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs [29.26861081722613]
我々は, 標準の「LLM-as-a-Judge」プロトコルが, 上学部から初期大学院レベルの数学に適用された場合, 体系的なアライメントギャップに悩まされることを実証した。
QEDBenchは、大学レベルの数学における人間の専門家とのアライメントを測定するための、最初の大規模デュアルルーブリックアライメントベンチマークである。
我々は,Claude Opus 4.5,DeepSeek-V3,Qwen 2.5 Max,Llama 4 Maverickなどのフロンティア評価が有意な正のバイアスを示すことを明らかにした。
論文 参考訳（メタデータ） (2026-02-24T07:23:28Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - ChatGPT for automated grading of short answer questions in mechanical ventilation [0.0]
大規模言語モデル(LLM)は会話言語をシミュレートし、構造化されていない自由テキスト応答を解釈する。
215名の学生のデータを用いて,ChatGPT 4o の評価を行い,SAQ の評価を行った。
論文 参考訳（メタデータ） (2025-05-05T19:04:25Z) - Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。
ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。
我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
論文 参考訳（メタデータ） (2024-04-08T17:18:04Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳（メタデータ） (2023-08-03T12:47:17Z) - BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of
Faithfulness Metrics [70.52570641514146]
不誠実な最小対 (BUMP) のベンチマークを示す。
BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。
非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
論文 参考訳（メタデータ） (2022-12-20T02:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。