論文の概要: A Survey on Feedback Types in Automated Programming Assessment Systems
- arxiv url: http://arxiv.org/abs/2510.18923v1
- Date: Tue, 21 Oct 2025 09:08:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:14.320824
- Title: A Survey on Feedback Types in Automated Programming Assessment Systems
- Title（参考訳）: 自動プログラミングアセスメントシステムにおけるフィードバックタイプの検討
- Authors: Eduard Frankford, Tobias Antensteiner, Michael Vierhauser, Clemens Sauerwein, Vivien Wallner, Iris Groher, Reinhold Plösch, Ruth Breu,
- Abstract要約: 本研究では,APASの異なるフィードバック機構が学生にどのように認識されるか,課題解決を支援する上でどのような効果があるかを検討する。
結果は、学生が単体テストのフィードバックを最も有用なものとして評価する一方で、AIが生成したフィードバックはパフォーマンスを著しく向上させることを示している。
- 参考スコア（独自算出の注目度）: 3.9845307287664973
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the recent rapid increase in digitization across all major industries, acquiring programming skills has increased the demand for introductory programming courses. This has further resulted in universities integrating programming courses into a wide range of curricula, including not only technical studies but also business and management fields of study. Consequently, additional resources are needed for teaching, grading, and tutoring students with diverse educational backgrounds and skills. As part of this, Automated Programming Assessment Systems (APASs) have emerged, providing scalable and high-quality assessment systems with efficient evaluation and instant feedback. Commonly, APASs heavily rely on predefined unit tests for generating feedback, often limiting the scope and level of detail of feedback that can be provided to students. With the rise of Large Language Models (LLMs) in recent years, new opportunities have emerged as these technologies can enhance feedback quality and personalization. To investigate how different feedback mechanisms in APASs are perceived by students, and how effective they are in supporting problem-solving, we have conducted a large-scale study with over 200 students from two different universities. Specifically, we compare baseline Compiler Feedback, standard Unit Test Feedback, and advanced LLM-based Feedback regarding perceived quality and impact on student performance. Results indicate that while students rate unit test feedback as the most helpful, AI-generated feedback leads to significantly better performances. These findings suggest combining unit tests and AI-driven guidance to optimize automated feedback mechanisms and improve learning outcomes in programming education.
- Abstract（参考訳）: 近年、すべての主要産業におけるデジタル化の急激な増加に伴い、プログラミングスキルの獲得により、入門プログラミングコースへの需要が高まっている。
この結果、大学は、技術的な研究だけでなく、ビジネスと経営の分野も含む幅広いカリキュラムにプログラミングコースを組み入れている。
その結果、様々な教育的背景と技能を持つ学生の教育、卒業、教育に新たなリソースが必要とされる。
これの一環として、APAS(Automated Programming Assessment Systems)が登場し、効率的な評価と即時フィードバックを備えたスケーラブルで高品質なアセスメントシステムを提供している。
一般的にAPASは、フィードバックを生成するために事前に定義された単体テストに強く依存しており、しばしば学生に提供されるフィードバックのスコープと詳細レベルを制限する。
近年,Large Language Models (LLMs) の台頭に伴い,フィードバックの品質とパーソナライゼーションが向上するにつれ,新たな機会が生まれている。
2つの異なる大学から200人以上の学生を対象に,APASのフィードバックメカニズムが学生によってどう認識されるか,課題解決を支援する上でどのような効果があるかを検討する。
具体的には,ベースラインコンパイラフィードバック,標準ユニットテストフィードバック,高度なLCMベースのフィードバックを,学生のパフォーマンスに対する知覚的品質と影響について比較する。
結果は、学生が単体テストのフィードバックを最も有用なものとして評価する一方で、AIが生成したフィードバックはパフォーマンスを著しく向上させることを示している。
これらの結果は、自動フィードバック機構を最適化し、プログラミング教育における学習結果を改善するために、単体テストとAIによるガイダンスを組み合わせることを示唆している。
関連論文リスト
- Enhancing tutoring systems by leveraging tailored promptings and domain knowledge with Large Language Models [2.5362697136900563]
ChatGPTやIntelligent Tutoring Systems(ITS)といったAI駆動のツールは、パーソナライゼーションと柔軟性を通じて、学習エクスペリエンスを向上している。
ITSは、個々の学習ニーズに適応し、生徒のパフォーマンス、認知状態、学習パスに基づいてカスタマイズされたフィードバックを提供する。
我々の研究は,大規模言語モデル(LLM)の迅速な工学化にRAG(Retrieval Augmented Generation)を介して,スキルアラインなフィードバックを組み込むことによって,これらのギャップに対処することを目的としている。
論文 参考訳（メタデータ） (2025-05-02T02:30:39Z) - A Zero-Shot LLM Framework for Automatic Assignment Grading in Higher Education [0.6141800972050401]
ゼロショット大言語モデル(LLM)に基づく自動アサインメントグレーディング(AAG)システムを提案する。
このフレームワークはプロンプトエンジニアリングを利用して、追加のトレーニングや微調整を必要とせず、計算と説明の両方の学生の反応を評価する。
AAGシステムは、個々の強みと改善の領域を強調した調整されたフィードバックを提供し、それによって学生の学習結果を向上する。
論文 参考訳（メタデータ） (2025-01-24T08:01:41Z) - Personalised Feedback Framework for Online Education Programmes Using Generative AI [0.0]
本稿では,埋め込みを組み込むことでChatGPTの機能を拡張したフィードバックフレームワークを提案する。
本研究の一環として,オープンエンドおよび複数選択質問に対する有効率90%と100%を達成できる概念解の証明を提案し,開発した。
論文 参考訳（メタデータ） (2024-10-14T22:35:40Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳（メタデータ） (2023-09-15T02:42:03Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - An Analysis of Programming Course Evaluations Before and After the
Introduction of an Autograder [1.329950749508442]
本稿では,最近自己評価を導入した基礎的コンピュータ科学コースの標準化された大学評価アンケートに対する回答について検討する。
我々は,教師と生徒の交流の改善,コースの質の向上,学習の成功の向上,時間の短縮,難易度の向上など,データに大きな変化をもたらした可能性について仮説を立てた。
オートグレーダ技術は、プログラミングコースにおける生徒の満足度を向上させるための教育方法として検証することができる。
論文 参考訳（メタデータ） (2021-10-28T14:09:44Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。