論文の概要: Comparison of Three Programming Error Measures for Explaining Variability in CS1 Grades
- arxiv url: http://arxiv.org/abs/2404.05988v1
- Date: Tue, 9 Apr 2024 03:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 16:08:32.947507
- Title: Comparison of Three Programming Error Measures for Explaining Variability in CS1 Grades
- Title（参考訳）: CS1グレードにおける変数説明のための3つのプログラムエラー対策の比較
- Authors: Valdemar Švábenský, Maciej Pankiewicz, Jiayi Zhang, Elizabeth B. Cloude, Ryan S. Baker, Eric Fouh,
- Abstract要約: 本研究は,2つの試験におけるプログラミングエラー率と成績の関係について検討した。
Javaプログラミングコースの280人の学生からデータが収集された。
- 参考スコア（独自算出の注目度）: 11.799817851619757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Programming courses can be challenging for first year university students, especially for those without prior coding experience. Students initially struggle with code syntax, but as more advanced topics are introduced across a semester, the difficulty in learning to program shifts to learning computational thinking (e.g., debugging strategies). This study examined the relationships between students' rate of programming errors and their grades on two exams. Using an online integrated development environment, data were collected from 280 students in a Java programming course. The course had two parts. The first focused on introductory procedural programming and culminated with exam 1, while the second part covered more complex topics and object-oriented programming and ended with exam 2. To measure students' programming abilities, 51095 code snapshots were collected from students while they completed assignments that were autograded based on unit tests. Compiler and runtime errors were extracted from the snapshots, and three measures -- Error Count, Error Quotient and Repeated Error Density -- were explored to identify the best measure explaining variability in exam grades. Models utilizing Error Quotient outperformed the models using the other two measures, in terms of the explained variability in grades and Bayesian Information Criterion. Compiler errors were significant predictors of exam 1 grades but not exam 2 grades; only runtime errors significantly predicted exam 2 grades. The findings indicate that leveraging Error Quotient with multiple error types (compiler and runtime) may be a better measure of students' introductory programming abilities, though still not explaining most of the observed variability.
- Abstract（参考訳）: プログラミングコースは初年度の大学生、特にコーディング経験のない学生にとって難しい。
学生は最初、コードの構文に苦労するが、より高度なトピックが学期を通じて導入されるにつれて、コンピュータ思考(例えば、デバッグ戦略)を学ぶことへのシフトをプログラムするのが困難になる。
本研究は,2つの試験におけるプログラミングエラー率と成績の関係について検討した。
オンライン統合開発環境を使用して、Javaプログラミングコースの280人の学生からデータを収集した。
コースには2つの部分があった。
第1部は導入手続きプログラミングに焦点を合わせ、第1部は試験1で、第2部はより複雑なトピックとオブジェクト指向プログラミングをカバーし、第2部は試験2で終了した。
学生のプログラミング能力を測定するため、51095のコードスナップショットが学生から収集され、ユニットテストに基づいて自動分解された課題が完了した。
スナップショットからコンパイラと実行時のエラーを抽出し、試験成績の変動性を説明する最良の尺度を特定するために、エラー数、エラー量、繰り返しエラー密度の3つの尺度を探索した。
Error Quotient を用いたモデルは、他の2つの尺度を用いて、グレードにおける説明変数とベイズ情報量規準のモデルより優れていた。
コンパイラエラーは,試験1学年において有意な予測値であったが,試験2学年では有意な予測値であったが,実行時エラーのみが試験2学年を有意に予測した。
この結果から,複数のエラー型(コンパイラと実行時)でエラークオシエントを活用することは,学生の入門プログラミング能力のより良い測定方法である可能性が示唆された。
関連論文リスト
- Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文 参考訳（メタデータ） (2024-10-09T07:43:38Z) - Integrating Natural Language Prompting Tasks in Introductory Programming Courses [3.907735250728617]
本報告では、導入プログラミングコースに2つのプロンプトに焦点を当てたアクティビティを組み込むことについて検討する。
第一に、学生は自然言語のプロンプトを書き、構文上の問題解決を強調することで、計算問題を解く必要がある。
2つ目は、プロンプトとコードの関係を理解するために、提供されたフラグメントに相当するコードを生成するプロンプトを作成することである。
論文 参考訳（メタデータ） (2024-10-04T01:03:25Z) - SimGrade: Using Code Similarity Measures for More Accurate Human Grading [5.797317782326566]
CS1講座では,不正確で矛盾のない自由応答型プログラミング問題の段階化が広く行われていることを示す。
そこで本稿では, 学生の応募を小学校の生徒に割り当てるアルゴリズムを提案し, (2) 受験者が以前同様の解を見た確率を最大化するために, 受験者を発注するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-19T23:06:23Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳（メタデータ） (2023-04-11T10:43:43Z) - Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions
about Code [0.0]
我々は,3つの生成事前学習型トランスフォーマー(GPT)モデルの有効性を,MCQ (Multiple-choice Question) の評価に答えるために分析した。
これらの知見は、プログラミングコースにおける教育実践や評価に適応するために、教育者によって活用することができる。
論文 参考訳（メタデータ） (2023-03-09T16:52:12Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳（メタデータ） (2022-05-28T03:31:07Z) - The impact of students behaviour, their approach, emotions and problem
difficulty level on the performance prediction, evaluation and overall
learning process during online coding activities [0.0]
2つのオンラインコーディングの課題またはコンペティションが1時間制限で実施される。
各コーディングテストの最後に調査が行われ、さまざまな質問に対する回答が収集された。
229(ファーストコーディングコンペティションデータセット)と325(セカンドコーディングコンペティションデータセット)のデータポイントに関する詳細な調査を通じて、2つのコーディングアサインやコンペティションが分析される。
論文 参考訳（メタデータ） (2021-12-29T06:11:01Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z) - Students Struggle to Explain Their Own Program Code [0.0]
プログラミング演習に応募した後、学生に小プログラムの構造と実行について説明するよう依頼する。
生徒の3分の1は、自身のプログラムコードを説明するのに苦労した。
以上の結果から,QLCの正解は,単に正しいプログラムを提出するよりも,学生の成功率と保持率との相関が強いことが示唆された。
論文 参考訳（メタデータ） (2021-04-14T09:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。