論文の概要: Evaluating LLM-Generated Feedback on Handwritten Mathematics: Feedback Quality and Subsequent Exam Performance
- arxiv url: http://arxiv.org/abs/2610.27881v1
- Date: Tue, 20 Oct 2026 09:03:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.734277
- Title: Evaluating LLM-Generated Feedback on Handwritten Mathematics: Feedback Quality and Subsequent Exam Performance
- Title（参考訳）: 手書き数学におけるLLM生成フィードバックの評価:フィードバック品質とその後のエクストリーム性能
- Abstract要約: 我々は、手書きの大学数学の回答とその成績から、GPT-5.1によるフィードバックと実践の質を評価する。
フィードバックを評価するために,6人のレビュアーは,0から3までの6つの基準を用いて,英語コホート課題から157のメッセージを評価した。
練習は強い評価率(95.5%)が最も高く、診断特異性(41.1%)と明快さ(33.4%)は少ない。
- 参考スコア（独自算出の注目度）: 4.529266785963654
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We evaluate the quality of feedback and practice exercises generated by GPT-5.1 from handwritten university mathematics answers and their grades, and examine whether receiving this feedback improves subsequent exam performance. We use six weekly bonus tests in an English (n=343) and a Dutch (n=236) cohort. Tests 1 and 3 used a crossover feedback design; otherwise, all attendees received feedback. To evaluate the feedback, six reviewers assessed 157 messages from three English-cohort tasks using six criteria scored from 0 to 3. The practice exercises received the highest proportion of strong ratings (95.5%), while diagnostic specificity (41.1%) and clarity and tone (33.4%) received fewer. Feedback for the lowest-scoring answers was rated as less actionable, suggesting that these students may need more targeted guidance from instructors. Comparisons of related exam questions showed mixed results, with no statistically significant differences after adjustment across four comparisons. Greater attendance and feedback exposure were associated with higher exam scores, but the contribution of feedback could not be separated from attendance and practice. Our findings show the potential of an integrated framework merging instructor guidance with automated feedback generation to provide personalised learning support at scale.
- Abstract（参考訳）: 我々は、手書きの大学数学の回答とその成績からGPT-5.1が生み出すフィードバックと実践の質を評価し、このフィードバックがその後の試験成績を改善するかどうかを検討する。
英語(n=343)とオランダ語(n=236)のコホートで毎週6回のボーナステストを使用します。
テスト 1 と 3 はクロスオーバーフィードバック設計を採用しました。
フィードバックを評価するために,6人のレビュアーは,0から3までの6つの基準を用いて,英語コホート課題から157のメッセージを評価した。
練習は強い評価率(95.5%)が最も高く、診断特異性(41.1%)と明快さ(33.4%)は少ない。
最下位の回答に対するフィードバックは、より行動しにくいと評価され、これらの学生はインストラクターのより標的的な指導を必要としている可能性が示唆された。
関連する試験結果の比較では, 4つの比較において, 統計的に有意差は認められなかった。
受講者数と受講者数の増加は, 受講者数, 受講者数, 受講者数, 受講者数, 受講者数, 受講者数, 受講者数とで有意差が認められた。
本研究は,インストラクター指導と自動フィードバック生成を組み合わせることで,個人化された学習支援を大規模に実現する可能性を示した。
関連論文リスト
- Beyond Score Accuracy: Examining the Diagnostic Quality of LLM-Generated Structured Assessment in Higher Education [3.936959638336404]
大規模言語モデル(LLM)は、高等教育における自動階調とフィードバックにますます採用されている。
本研究は、これらのアウトプットが提供しているように見えるものを提供するかどうかを検討する。
論文 参考訳（メタデータ） (2026-10-07T05:17:26Z) - Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education [0.3686530147760243]
本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。
Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
論文 参考訳（メタデータ） (2026-09-13T04:55:55Z) - Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines [3.4020399898813145]
イントロダクティブプログラミングにおけるオープンエンドの短解問題に対するフィードバックに焦点をあてる。
我々は,フィードバックの質を評価するために,教育文献を基盤とした5基準ルーブリックを開発した。
論文 参考訳（メタデータ） (2026-08-22T08:48:53Z) - SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。
我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。
我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
論文 参考訳（メタデータ） (2026-08-07T16:11:46Z) - A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming [1.0241350366020698]
本稿では,Pythonプログラミング入門コースにおいて,AIによるフィードバックが展開される大規模教室スタディを提案する。
学生は、不正な提出に関する3つのフィードバック条件の1つを受け取った。自然言語ヒント、AI生成テストケースの失敗、あるいはAIのフィードバックがない。
自然言語のフィードバックは,解の完成率の向上と解の収束の高速化に大きく関連していることがわかった。
論文 参考訳（メタデータ） (2026-06-07T19:55:51Z) - How Adding Metacognitive Requirements in Support of AI Feedback in Practice Exams Transforms Student Learning Behaviors [1.3285222309805063]
本稿では,AIが生成したフィードバックを対象とする教科書参照と統合した実践試験システムを提案する。
本システムでは,生徒に回答を説明し,自信を宣言することで,メタ認知行動を促進する。
OpenAIのGPT-4oを使用して、この情報に基づいてパーソナライズされたフィードバックを生成し、関連する教科書セクションに誘導する。
論文 参考訳（メタデータ） (2025-05-19T17:25:07Z) - Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges [53.12387628636912]
RAG評価において重要な要素は、引用された文書の情報が回答をサポートするかどうかである。
TREC 2024 RAG Trackの36項目について,45件の参加者を大規模に比較検討した。
以上の結果から,手動によるオフスクラッチ評価の56%では,ヒトとGPT-4oの予測が完全に一致していることが示唆された。
論文 参考訳（メタデータ） (2025-04-21T16:20:43Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳（メタデータ） (2023-10-10T09:20:14Z) - Facial Feedback for Reinforcement Learning: A Case Study and Offline
Analysis Using the TAMER Framework [51.237191651923666]
訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。
設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。
シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
論文 参考訳（メタデータ） (2020-01-23T17:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。