論文の概要: Bridging Qualitative Rubrics and AI: A Binary Question Framework for Criterion-Referenced Grading in Engineering
- arxiv url: http://arxiv.org/abs/2601.15626v1
- Date: Thu, 22 Jan 2026 03:57:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-23 21:37:20.487111
- Title: Bridging Qualitative Rubrics and AI: A Binary Question Framework for Criterion-Referenced Grading in Engineering
- Title（参考訳）: 質的な論理とAIをブリッジする - エンジニアリングにおける基準参照グラフのためのバイナリな問合せフレームワーク
- Authors: Lili Chen, Winn Wing-Yiu Chow, Stella Peng, Bencheng Fan, Sachitha Bandara,
- Abstract要約: 本研究では, 工学における数学的評価において, GenAI を基準付きグレーティングフレームワークに統合して, グレーディングの効率と品質を向上させる方法について検討した。
- 参考スコア（独自算出の注目度）: 5.378302855328016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: PURPOSE OR GOAL: This study investigates how GenAI can be integrated with a criterion-referenced grading framework to improve the efficiency and quality of grading for mathematical assessments in engineering. It specifically explores the challenges demonstrators face with manual, model solution-based grading and how a GenAI-supported system can be designed to reliably identify student errors, provide high-quality feedback, and support human graders. The research also examines human graders' perceptions of the effectiveness of this GenAI-assisted approach. ACTUAL OR ANTICIPATED OUTCOMES: The study found that GenAI achieved an overall grading accuracy of 92.5%, comparable to two experienced human graders. The two researchers, who also served as subject demonstrators, perceived the GenAI as a helpful second reviewer that improved accuracy by catching small errors and provided more complete feedback than they could manually. A central outcome was the significant enhancement of formative feedback. However, they noted the GenAI tool is not yet reliable enough for autonomous use, especially with unconventional solutions. CONCLUSIONS/RECOMMENDATIONS/SUMMARY: This study demonstrates that GenAI, when paired with a structured, criterion-referenced framework using binary questions, can grade engineering mathematical assessments with an accuracy comparable to human experts. Its primary contribution is a novel methodological approach that embeds the generation of high-quality, scalable formative feedback directly into the assessment workflow. Future work should investigate student perceptions of GenAI grading and feedback.
- Abstract（参考訳）: PURPOSE OR GOAL: 工学における数学的アセスメントの効率と品質を改善するために、GenAIを基準付きグレーティングフレームワークとどのように統合できるかを検討する。
具体的には、デモ参加者が手動で直面している課題、モデルソリューションベースのグレーディング、そして、GenAIをサポートするシステムは、学生のエラーを確実に識別し、高品質なフィードバックを提供し、人間のグレーダーをサポートするように設計されているか、などについて検討する。
この研究は、このGenAI支援アプローチの有効性に対するヒトの学年者の認識も調べている。
ACTUAL OR AntiCIPated OUTCOMES: この研究は、GenAIが総合的なグレード精度92.5%を達成したことを発見した。
被験者のデモも担当した二人の研究者たちは、GenAIを、小さなエラーを捕捉して精度を高め、手動で行うよりも完全なフィードバックを提供する、補助的な第2のレビュアーだと認識した。
中心的な成果は、フォーマティブなフィードバックの大幅な向上であった。
しかし彼らは、GenAIツールが自律的な使用に十分な信頼性を持っていないことに言及した。
CONCLUSIONS/RECOMMENDATIONS/SUMMARY: この研究は、二分問題を用いた構造化された基準参照フレームワークと組み合わせたGenAIが、人間の専門家に匹敵する精度で工学的な数学的評価を評価できることを示した。
その主な貢献は、高品質でスケーラブルな書式フィードバックをアセスメントワークフローに直接組み込む新しい方法論的アプローチである。
今後の研究は、GenAIの成績とフィードバックに対する学生の認識を調査すべきである。
関連論文リスト
- Encouraging Students' Responsible Use of GenAI in Software Engineering Education: A Causal Model and Two Institutional Applications [0.4306143768014156]
ジェネレーティブAI(GenAI)ツールが教育で普及するにつれ、学生が学習よりも学習に使用することへの懸念が高まっている。
本稿では、ソフトウェア工学(SE)教育におけるGenAI利用に責任を持つ教育者を支援するために、因果モデルを提案し、実証的に適用する。
論文 参考訳（メタデータ） (2025-05-31T19:27:40Z) - From Recall to Reasoning: Automated Question Generation for Deeper Math Learning through Large Language Models [44.99833362998488]
先進数学のためのコンテンツ生成を最適化する第1ステップについて検討した。
我々は、GenAIがコース内容に関連する高品質な実践問題を生み出す能力について検討した。
論文 参考訳（メタデータ） (2025-05-17T08:30:10Z) - Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Position: Evaluating Generative AI Systems Is a Social Science Measurement Challenge [78.35388859345056]
我々は,MLコミュニティが,GenAIシステム評価のための計測機器を開発する際に,社会科学の学習と図面の恩恵を受けることを論じる。
我々は,GenAIシステムの能力,行動,および影響に関する概念を測定するための,社会科学からの計測理論に基づく4段階の枠組みを提案する。
論文 参考訳（メタデータ） (2025-02-01T21:09:51Z) - Evaluating Generative AI-Enhanced Content: A Conceptual Framework Using Qualitative, Quantitative, and Mixed-Methods Approaches [0.0]
Generative AI(GenAI)は、コンテント生成に革命をもたらし、言語コヒーレンス、可読性、全体的な品質を改善するためのトランスフォーメーション機能を提供する。
本論文は,GenAIモデルの性能評価のための定性的,定量的,混合方法論の研究アプローチの応用を探求する。
論文 参考訳（メタデータ） (2024-11-26T23:34:07Z) - Dimensions of Generative AI Evaluation Design [51.541816010127256]
我々は、GenAI評価設計に関わる重要な選択を捉えるための一般的な次元のセットを提案する。
これらの次元には、評価設定、タスクタイプ、入力ソース、インタラクションスタイル、期間、メトリックタイプ、スコアリング方法が含まれる。
論文 参考訳（メタデータ） (2024-11-19T18:25:30Z) - Understanding Student and Academic Staff Perceptions of AI Use in Assessment and Feedback [0.0]
高等教育における人工知能(AI)と生成人工知能(GenAI)の台頭は、評価改革を必要としている。
本研究は,AIとGenAIツールを用いた学生と学術スタッフの経験を探索することによって,重要なギャップを解消する。
オンライン調査では、ベトナムの2つの大学とシンガポールの1つの大学から35人の研究スタッフと282人の学生のデータを収集した。
論文 参考訳（メタデータ） (2024-06-22T10:25:01Z) - GAIA: Rethinking Action Quality Assessment for AI-Generated Videos [56.047773400426486]
アクション品質アセスメント(AQA)アルゴリズムは、主に実際の特定のシナリオからのアクションに焦点を当て、規範的なアクション機能で事前訓練されている。
我々は,新たな因果推論の観点から大規模主観評価を行うことにより,GAIAを構築した。
その結果、従来のAQA手法、最近のT2Vベンチマークにおけるアクション関連指標、メインストリームビデオ品質手法は、それぞれ0.454、0.191、0.519のSRCCで性能が良くないことがわかった。
論文 参考訳（メタデータ） (2024-06-10T08:18:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。