論文の概要: Test Case-Informed Knowledge Tracing for Open-ended Coding Tasks
- arxiv url: http://arxiv.org/abs/2410.10829v1
- Date: Sat, 28 Sep 2024 03:13:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 19:24:58.854617
- Title: Test Case-Informed Knowledge Tracing for Open-ended Coding Tasks
- Title（参考訳）: オープンエンド符号化タスクのためのテストケースインフォームド知識トレース
- Authors: Zhangqi Duan, Nigel Fernandez, Alexander Hicks, Andrew Lan,
- Abstract要約: オープンエンドコーディングタスクは、コンピュータサイエンス教育で一般的である。
応答の正しさのみを分析する伝統的な知識追跡(KT)モデルは、学生のコードから学生の知識のニュアンスを完全に捉えることはできない。
テストケース・インフォームド・ナレッジ・トレーシング・フォー・オープンエンド・コーディング(TIKTOC)は,オープンエンドの学生コードとテストケースを同時に分析・予測するフレームワークである。
- 参考スコア（独自算出の注目度）: 42.22663501257155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-ended coding tasks, which ask students to construct programs according to certain specifications, are common in computer science education. Student modeling can be challenging since their open-ended nature means that student code can be diverse. Traditional knowledge tracing (KT) models that only analyze response correctness may not fully capture nuances in student knowledge from student code. In this paper, we introduce Test case-Informed Knowledge Tracing for Open-ended Coding (TIKTOC), a framework to simultaneously analyze and predict both open-ended student code and whether the code passes each test case. We augment the existing CodeWorkout dataset with the test cases used for a subset of the open-ended coding questions, and propose a multi-task learning KT method to simultaneously analyze and predict 1) whether a student's code submission passes each test case and 2) the student's open-ended code, using a large language model as the backbone. We quantitatively show that these methods outperform existing KT methods for coding that only use the overall score a code submission receives. We also qualitatively demonstrate how test case information, combined with open-ended code, helps us gain fine-grained insights into student knowledge.
- Abstract（参考訳）: 学生に特定の仕様に従ってプログラムを構築するよう依頼するオープンエンドコーディングタスクは、コンピュータサイエンス教育において一般的である。
学生のモデリングは、学生のコードが多様であることを意味するので、難しい場合がある。
応答の正しさのみを分析する伝統的な知識追跡(KT)モデルは、学生のコードから学生の知識のニュアンスを完全に捉えることはできない。
本稿では,オープンエンドプログラミングにおけるテストケース・インフォームド・ナレッジ・トラクション(TIKTOC)について紹介する。
既存のCodeWorkoutデータセットをオープンエンドのコーディング質問のサブセットに使用するテストケースで拡張し、同時に解析と予測を行うマルチタスク学習KT手法を提案する。
1)学生のコード提出が各試験ケースを通過させるか否か
2) 大きな言語モデルをバックボーンとして使用した,学生のオープンエンドコード。
提案手法は,入力されたコード全体のスコアのみを使用するコーディングにおいて,既存のKTメソッドよりも優れていることを定量的に示す。
また、テストケース情報をオープンなコードと組み合わせることで、学生の知識に関する詳細な洞察を得る方法も定性的に示しています。
関連論文リスト
- OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳（メタデータ） (2024-11-07T17:47:25Z) - Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。
本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。
提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文 参考訳（メタデータ） (2024-08-29T12:34:01Z) - Using Large Language Models for Student-Code Guided Test Case Generation
in Computer Science Education [2.5382095320488665]
テストケースは、コンピュータサイエンス教育におけるプログラミング課題の不可欠な部分である。
テストケースは、学生のプログラミング知識をテストし、学生が書いたコードに対してパーソナライズされたフィードバックを提供するための評価項目として使用することができる。
テストケースを自動的に生成する大規模言語モデルに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-02-11T01:37:48Z) - Enhancing Semantic Code Search with Multimodal Contrastive Learning and
Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。
我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-04-07T08:49:27Z) - elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。
このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。
elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-17T16:23:45Z) - GPT-based Open-Ended Knowledge Tracing [24.822739021636455]
学生の質問に対する回答を正確に予測する新しい課題について検討する。
私たちの研究は、コンピュータサイエンス教育の分野において、プログラミングに関する質問に基礎を置いています。
学生の知識に基づくコード生成手法であるOKT問題の初期解を開発した。
論文 参考訳（メタデータ） (2022-02-21T02:33:34Z) - Probing Pretrained Models of Source Code [14.904366372190943]
一般的な事前学習モデルは、多くのアプリケーションにおいてタスク固有のモデルよりも優れていることが示されている。
事前訓練されたコードのモデルには、コード構文構造と正当性、識別子の概念、データフローと正当性、自然言語の命名に関する情報が含まれている。
論文 参考訳（メタデータ） (2022-02-16T10:26:14Z) - What do pre-trained code models know about code? [9.60966128833701]
事前に訓練されたコードモデルを調べるために、プローブと呼ばれる診断タスクを使用します。
BERT(英語で事前学習)、CodeBERT(ソースコードで事前学習)、CodeBERTa(自然言語で事前学習)、GraphCodeBERT(データフローでソースコードで事前学習)について検討した。
論文 参考訳（メタデータ） (2021-08-25T16:20:17Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Self-Supervised Contrastive Learning for Code Retrieval and
Summarization via Semantic-Preserving Transformations [28.61567319928316]
Corderは、ソースコードモデルのための自己教師付きコントラスト学習フレームワークである。
重要なイノベーションは、ソースコードモデルをトレーニングし、類似した、異種のコードスニペットを認識するように要求することです。
Corderで事前訓練されたコードモデルは、コード・ツー・コード検索、テキスト・ツー・コード検索、およびコード・ツー・テキスト要約タスクにおいて、他のベースラインを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2020-09-06T13:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。