論文の概要: Using Large Language Models for Student-Code Guided Test Case Generation in Computer Science Education

• arxiv url: http://arxiv.org/abs/2402.07081v1
• Date: Sun, 11 Feb 2024 01:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 17:57:21.712625
• Title: Using Large Language Models for Student-Code Guided Test Case Generation in Computer Science Education
• Title（参考訳）: 大規模言語モデルを用いたコンピュータサイエンス教育における学生コード案内テストケース生成
• Authors: Nischal Ashok Kumar, Andrew Lan
• Abstract要約: テストケースは、コンピュータサイエンス教育におけるプログラミング課題の不可欠な部分である。 テストケースは、学生のプログラミング知識をテストし、学生が書いたコードに対してパーソナライズされたフィードバックを提供するための評価項目として使用することができる。 テストケースを自動的に生成する大規模言語モデルに基づくアプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.5382095320488665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In computer science education, test cases are an integral part of programming assignments since they can be used as assessment items to test students' programming knowledge and provide personalized feedback on student-written code. The goal of our work is to propose a fully automated approach for test case generation that can accurately measure student knowledge, which is important for two reasons. First, manually constructing test cases requires expert knowledge and is a labor-intensive process. Second, developing test cases for students, especially those who are novice programmers, is significantly different from those oriented toward professional-level software developers. Therefore, we need an automated process for test case generation to assess student knowledge and provide feedback. In this work, we propose a large language model-based approach to automatically generate test cases and show that they are good measures of student knowledge, using a publicly available dataset that contains student-written Java code. We also discuss future research directions centered on using test cases to help students.
• Abstract（参考訳）: コンピュータサイエンス教育において、テストケースは、生徒のプログラミング知識をテストし、学生が書いたコードに対してパーソナライズされたフィードバックを提供するための評価項目として使用できるため、プログラミング課題の不可欠な部分である。 本研究の目的は,学生の知識を正確に測定できるテストケース生成のための完全自動化手法を提案することである。 まず、手動でテストケースを構築するには専門家の知識が必要です。 第二に、特に初心者プログラマ向けのテストケースの開発は、プロレベルのソフトウェア開発者向けのものとは大きく異なる。 したがって、学生の知識を評価しフィードバックを提供するテストケース生成のための自動化プロセスが必要である。 本研究では,学生が書いたJavaコードを含む公開データセットを用いて,テストケースを自動的に生成する大規模言語モデルに基づくアプローチを提案する。 また,テストケースを用いた学生支援を中心とした今後の研究方向性についても論じる。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Test Case-Informed Knowledge Tracing for Open-ended Coding Tasks [42.22663501257155]
  オープンエンドコーディングタスクは、コンピュータサイエンス教育で一般的である。 応答の正しさのみを分析する伝統的な知識追跡(KT)モデルは、学生のコードから学生の知識のニュアンスを完全に捉えることはできない。 テストケース・インフォームド・ナレッジ・トレーシング・フォー・オープンエンド・コーディング(TIKTOC)は,オープンエンドの学生コードとテストケースを同時に分析・予測するフレームワークである。
  論文  参考訳（メタデータ） (2024-09-28T03:13:40Z)
• Identifying Student Profiles Within Online Judge Systems Using Explainable Artificial Intelligence [6.638206014723678]
  オンライン審査員(OJ)システムは通常、学生によって開発されたコードの高速かつ客観的な評価を得られるため、プログラミング関連のコースの中で考慮される。 本研究の目的は,OJが収集した情報のさらなる活用を考慮し,学生とインストラクターの両方のフィードバックを自動的に推測することで,この制限に対処することである。
  論文  参考訳（メタデータ） (2024-01-29T12:11:30Z)
• Next-Step Hint Generation for Introductory Programming Using Large Language Models [0.8002196839441036]
  大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。 本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
  論文  参考訳（メタデータ） (2023-12-03T17:51:07Z)
• Exploring the Potential of Large Language Models to Generate Formative Programming Feedback [0.5371337604556311]
  計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。 これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。 その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。 しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
  論文  参考訳（メタデータ） (2023-08-31T15:22:11Z)
• Towards Informed Design and Validation Assistance in Computer Games Using Imitation Learning [65.12226891589592]
  本稿では,自動ゲーム検証とテストのための新しいアプローチを提案する。 本手法は,データ駆動型模倣学習技術を活用し,時間と労力をほとんど必要とせず,機械学習やプログラミングの知識も必要としない。
  論文  参考訳（メタデータ） (2022-08-15T11:08:44Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• Data-Driven Approach for Log Instruction Quality Assessment [59.04636530383049]
  優れた品質特性を持つログ命令の記述方法に関するガイドラインは,広く採用されていない。 1)ログレベルの正確さを評価するための正しいログレベルの割り当てと,2)イベント記述の冗長化に必要な静的テキストの最小富度を評価する十分な言語構造である。 本手法は,F1スコア0.99の十分な言語構造を用いて,ログレベルの割当を精度0.88で正確に評価する。
  論文  参考訳（メタデータ） (2022-04-06T07:02:23Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• How do students test software units? [3.6748639131154315]
  私たちは学生に、小さな調査に記入し、4回の演習を行い、2回目の調査に記入するように頼みました。 半構造化インタビューで11人の学生にインタビューを行い、より深い洞察を得た。 私たちが見いだした誤解の1つは、ほとんどの学生は、プログラミングコードに基づいてテストケースしか考えられないということです。 たとえコードが提供されていなくても(ブラックボックステスト)、学生はテストケースをベースとするコードを考え出そうとします。
  論文  参考訳（メタデータ） (2021-02-16T07:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。