論文の概要: Automated Grading and Feedback Tools for Programming Education: A
Systematic Review
- arxiv url: http://arxiv.org/abs/2306.11722v2
- Date: Wed, 6 Dec 2023 00:46:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 18:50:45.803082
- Title: Automated Grading and Feedback Tools for Programming Education: A
Systematic Review
- Title（参考訳）: プログラミング教育のための自動採点とフィードバックツール:体系的レビュー
- Authors: Marcus Messer, Neil C. C. Brown, Michael K\"olling, Miaojing Shi
- Abstract要約: ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。
ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。
ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
- 参考スコア（独自算出の注目度）: 7.776434991976473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We conducted a systematic literature review on automated grading and feedback
tools for programming education.
We analysed 121 research papers from 2017 to 2021 inclusive and categorised
them based on skills assessed, approach, language paradigm, degree of
automation and evaluation techniques.
Most papers assess the correctness of assignments in object-oriented
languages.
Typically, these tools use a dynamic technique, primarily unit testing, to
provide grades and feedback to the students or static analysis techniques to
compare a submission with a reference solution or with a set of correct student
submissions.
However, these techniques' feedback is often limited to whether the unit
tests have passed or failed, the expected and actual output, or how they differ
from the reference solution.
Furthermore, few tools assess the maintainability, readability or
documentation of the source code, with most using static analysis techniques,
such as code quality metrics, in conjunction with grading correctness.
Additionally, we found that most tools offered fully automated assessment to
allow for near-instantaneous feedback and multiple resubmissions, which can
increase student satisfaction and provide them with more opportunities to
succeed.
In terms of techniques used to evaluate the tools' performance, most papers
primarily use student surveys or compare the automatic assessment tools to
grades or feedback provided by human graders.
However, because the evaluation dataset is frequently unavailable, it is more
difficult to reproduce results and compare tools to a collection of common
assignments.
- Abstract（参考訳）: プログラミング教育のための自動採点およびフィードバックツールに関する体系的文献レビューを行った。
2017年から2021年にかけて121の研究論文を分析し,スキル評価,アプローチ,言語パラダイム,自動化度,評価技術に基づいて分類した。
ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。
典型的には、これらのツールは、主に単体テストという動的なテクニックを使用して、学生に成績とフィードバックを提供し、静的解析技術を使用して、提案を参照ソリューションまたは正しい学生の提出セットと比較する。
しかしながら、これらのテクニックのフィードバックは、ユニットテストがパスしたか失敗したか、期待された、実際のアウトプット、あるいは参照ソリューションとどのように違うかに制限されることが多い。
さらに、ソースコードの保守性、可読性、ドキュメンテーションを評価するツールも少なく、コード品質メトリクスなどの静的解析技術や、正確性を格付けするツールもほとんどない。
さらに、ほとんどのツールが、ほぼ瞬時にフィードバックと複数の再提出を可能にする完全自動評価を提供しており、学生の満足度を高め、成功の機会を多く提供できることがわかった。
ツールのパフォーマンスを評価する技術に関して、ほとんどの論文は、主に学生のサーベイを使用しており、自動評価ツールを人間のグッズやフィードバックと比較している。
しかし、評価データセットは頻繁に利用できないため、結果を再現し、ツールを共通の課題の集合と比較することは困難である。
関連論文リスト
- TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳（メタデータ） (2024-02-21T22:41:38Z) - Improving Automated Code Reviews: Learning from Experience [12.573740138977065]
本研究では,自動コードレビューモデルから高品質なレビューを生成できるかどうかを検討する。
経験を意識したオーバーサンプリングは、レビューの正確性、情報レベル、有意義性を高めることができる。
論文 参考訳（メタデータ） (2024-02-06T07:48:22Z) - Code Review Automation: Strengths and Weaknesses of the State of the Art [14.313783664862923]
3つのコードレビュー自動化技術は、この論文で説明した2つのタスクで成功するか失敗する傾向があります。
この研究は質的な焦点が強く、正確な予測と間違った予測の分析に105時間のマニュアルインスペクションが費やされている。
論文 参考訳（メタデータ） (2024-01-10T13:00:18Z) - Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。
データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
論文 参考訳（メタデータ） (2023-07-16T21:22:40Z) - A survey on grading format of automated grading tools for programming
assignments [0.0]
オンラインプラットフォームや研究の普及により、自動グルーピングツールの需要が高まっている。
本研究は,評価形式に基づく自動評価ツールについて検討し,評価する。
論文 参考訳（メタデータ） (2022-12-04T00:49:16Z) - ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented
Visual Models [102.63817106363597]
ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。
20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。
研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
論文 参考訳（メタデータ） (2022-04-19T10:23:42Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳（メタデータ） (2020-11-02T08:07:50Z) - Open Source Software for Efficient and Transparent Reviews [0.11179881480027788]
ASReviewはオープンソースの機械学習支援パイプラインで、アクティブラーニングを適用している。
シミュレーションにより,ASReviewは手作業によるレビューよりもはるかに効率的なレビューを実現することができることを示す。
論文 参考訳（メタデータ） (2020-06-22T11:57:10Z) - Automated Content Grading Using Machine Learning [0.0]
本研究プロジェクトは,技術科の学生による試験で書かれた理論的回答の段階付けを自動化するための原始的な実験である。
本稿では,機械学習におけるアルゴリズム的アプローチを用いて,試験回答論文の理論的内容を自動的に検証し,評価する方法について述べる。
論文 参考訳（メタデータ） (2020-04-08T23:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。