論文の概要: Conceptual Mutation Testing for Student Programming Misconceptions

• arxiv url: http://arxiv.org/abs/2401.00021v1
• Date: Thu, 28 Dec 2023 11:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 12:27:49.571542
• Title: Conceptual Mutation Testing for Student Programming Misconceptions
• Title（参考訳）: 学生プログラミングの誤解に対する概念変異テスト
• Authors: Siddhartha Prasad (Brown University, USA), Ben Greenman (Brown University, USA), Tim Nelson (Brown University, USA), Shriram Krishnamurthi (Brown University, USA)
• Abstract要約: 生徒はプログラミングの問題の説明を誤解することが多い。 これにより、間違った問題が解決され、フラストレーションが発生します。 生徒はプログラミングを始める前に例を書くことで問題をよりよく理解することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context: Students often misunderstand programming problem descriptions. This can lead them to solve the wrong problem, which creates frustration, obstructs learning, and imperils grades. Researchers have found that students can be made to better understand the problem by writing examples before they start programming. These examples are checked against correct and wrong implementations -- analogous to mutation testing -- provided by course staff. Doing so results in better student understanding of the problem as well as better test suites to accompany the program, both of which are desirable educational outcomes. Inquiry: Producing mutant implementations requires care. If there are too many, or they are too obscure, students will end up spending a lot of time on an unproductive task and also become frustrated. Instead, we want a small number of mutants that each correspond to common problem misconceptions. This paper presents a workflow with partial automation to produce mutants of this form which, notably, are not those produced by mutation-testing tools. Approach: We comb through student tests that fail a correct implementation. The student misconceptions are embedded in these failures. We then use methods to semantically cluster these failures. These clusters are then translated into conceptual mutants. These can then be run against student data to determine whether we they are better than prior methods. Some of these processes also enjoy automation. Knowledge: We find that student misconceptions illustrated by failing tests can be operationalized by the above process. The resulting mutants do much better at identifying student misconceptions. Grounding: Our findings are grounded in a manual analysis of student examples and a quantitative evaluation of both our clustering techniques and our process for making conceptual mutants. The clustering evaluation compares against a ground truth using standard cluster-correspondence measures, while the mutant evaluation examines how conceptual mutants perform against student data. Importance: Our work contributes a workflow, with some automation, to reduce the cost and increase the effectiveness of generating conceptually interesting mutants. Such mutants can both improve learning outcomes and reduce student frustration, leading to better educational outcomes. In the process, we also identify a variation of mutation testing not commonly discussed in the software literature.
• Abstract（参考訳）: 文脈:学生はしばしばプログラミングの問題の記述を誤解する。 これにより、フラストレーションを発生させ、学習を妨害し、成績を損なうという間違った問題を解決することができる。 研究者は、プログラミングを始める前にサンプルを書くことで、学生が問題をよりよく理解できるようにすることができることを発見した。 これらの例は、コーススタッフが提供する、正しい、間違った実装 -- 突然変異テストに似た -- に対してチェックされます。 その結果、問題に対する生徒の理解が向上し、プログラムに付随するテストスイートも改善され、どちらも望ましい教育成果となる。 Inquiry: ミュータント実装の作成には注意が必要です。 あまりにも多すぎる、あるいはあいまいすぎる場合、学生は非生産的なタスクに多くの時間を費やすことになり、フラストレーションになる。 代わりに、共通の問題誤解に対応する少数の変異体が欲しいのです。 本稿では,この形態の変異体を生成するための部分的自動化を伴うワークフローについて述べる。 アプローチ: 正しい実装を失敗する学生テストをまとめる。 学生の誤解はこれらの失敗に埋め込まれている。 次に、これらの障害を意味的にクラスタリングするためにメソッドを使用します。 これらのクラスターは概念的ミュータントに翻訳される。 これらは学生データに対して実行され、以前の方法よりも優れているかどうかを判断する。 これらのプロセスの一部は自動化も楽しめます。 知識: テストの失敗によって説明される学生の誤解は、上記のプロセスによって操作可能である。 結果として生じるミュータントは、学生の誤解を特定するのに優れている。 grounding: 今回の発見は,学生例の手動分析と,クラスタリング手法と概念的変異体作成プロセスの両方の定量的評価に基礎を置いている。 クラスター評価は、標準クラスター対応尺度を用いて基礎的真理と比較し、ミュータント評価は、概念的ミュータントが学生データに対してどのように作用するかを調べる。 重要性: 私たちの仕事は、コストを削減し、概念的に興味深いミュータントを生成する効果を高めるために、いくつかの自動化を伴うワークフローに寄与します。 このようなミュータントは、学習結果を改善し、学生のフラストレーションを減らし、より良い教育結果をもたらす。 この過程では、ソフトウェア文献でよく議論されていない突然変異検査のバリエーションも同定する。

関連論文リスト

• BugSpotter: Automated Generation of Code Debugging Exercises [22.204802715829615]
  本稿では,問題記述からバグコードを生成するツールであるBugSpotterを紹介する。 学生は失敗するテストケースを設計することでBugSpotterと対話する。
  論文  参考訳（メタデータ） (2024-11-21T16:56:33Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• An Empirical Evaluation of Manually Created Equivalent Mutants [54.02049952279685]
  手動で作成した突然変異体の10%未満は等価である。 驚くべきことに、我々の発見は、開発者の大部分が同等のミュータントを正確に識別するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-04-14T13:04:10Z)
• CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
  本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。 本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。 本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-25T03:08:50Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• Identifying Different Student Clusters in Functional Programming Assignments: From Quick Learners to Struggling Students [2.0386745041807033]
  我々は、マギル大学で教えられた関数型プログラミングコースから収集された学生の課題データを分析する。 これにより、「Quick-learning」、「Hardworking」、「Satisficing」、「Struggling」の4つのクラスタを特定できる。 次に、作業習慣、作業期間、エラーの範囲、エラーを修正する能力が、学生の異なるクラスタに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-06T17:15:58Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)
• DeepMutation: A Neural Mutation Tool [26.482720255691646]
  DeepMutationは、ディープラーニングモデルを完全に自動化されたツールチェーンにラップするツールです。 実際の断層から学んだ変異体を生成し、注入し、テストすることができる。
  論文  参考訳（メタデータ） (2020-02-12T01:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。