論文の概要: Code Generation Based Grading: Evaluating an Auto-grading Mechanism for
"Explain-in-Plain-English" Questions
- arxiv url: http://arxiv.org/abs/2311.14903v1
- Date: Sat, 25 Nov 2023 02:45:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 22:55:28.534616
- Title: Code Generation Based Grading: Evaluating an Auto-grading Mechanism for
"Explain-in-Plain-English" Questions
- Title(参考訳): コード生成に基づく格付け:「説明・説明・英語」質問の自動格付け機構の評価
- Authors: David H. Smith IV and Craig Zilles
- Abstract要約: コード生成ベースグラディング(CGBG)は、人間の学年と適度に合意する。
CGBGは、コードの低レベルおよびライン・バイ・ライン記述に関して、人間のグレードラーと適度に合意する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Comprehending and elucidating the purpose of code is often cited as being a
key learning objective within introductory programming courses. To address this
objective ``Explain-in-Plain-English'' questions, in which students are shown a
segment of code and asked to provide an abstract description of the code's
purpose, have been adopted. However, given EiPE questions require a natural
language response, they often require manual grading which is time-consuming
for course staff and delays feedback for students. With the advent of large
language models (LLMs) capable of generating code, responses to EiPE questions
can be used to generate code segments, the correctness of which can then be
easily verified using test cases. We refer to this approach as "Code Generation
Based Grading" (CGBG) and in this paper we explore its agreement with human
graders using EiPE responses from past exams in an introductory programming
course taught in Python. Overall, we find that CGBG achieves moderate agreement
with human graders with the primary area of disagreement being its leniency
with respect to low-level and line-by-line descriptions of code.
- Abstract(参考訳): コードの目的の理解と解明は、入門プログラミングコースにおける重要な学習目標として言及されることが多い。
この目的である「説明-in-Plain- English」質問に対処するため、学生はコードの一部を示し、コードの目的を抽象的に記述するよう依頼された。
しかし、固有質問は自然言語応答を必要とするため、授業スタッフに時間がかかる手動の採点と学生へのフィードバックの遅れがしばしば必要となる。
コードを生成する大きな言語モデル(LLM)の出現により、EePE質問に対する応答を使用してコードセグメントを生成することができ、その正確性はテストケースを使って容易に検証できる。
本稿では,この手法をCGBG(Code Generation Based Grading)と呼ぶ。本論文では,Pythonで教えられた入門プログラミングコースにおいて,過去の試験からEePE応答を用いた人間グレーダとの合意について検討する。
概して、CGBGは、低レベルのコードや行ごとのコード記述に対して、主要な不一致領域が冗長性であることから、人間の中等生と適度な合意を達成している。
関連論文リスト
- Explaining Code with a Purpose: An Integrated Approach for Developing
Code Comprehension and Prompting Skills [4.776920192249936]
我々は,EePE質問に対する学生の回答に基づいて,LLMを用いてコードを生成することを提案する。
我々は,EePEの問題解決に有効なプロンプトの作成に学生が成功したことを報告した。
論文 参考訳(メタデータ) (2024-03-10T00:23:08Z) - Explaining Code Examples in Introductory Programming Courses: LLM vs
Humans [1.6431142588286851]
受動型およびアクティブなサンプル探索システムにおいて,LLMを用いてコード説明を生成する可能性について検討した。
この目的を達成するために,チャットGPTが生成したコード説明と,専門家と学生の両方が生成した説明とを比較した。
論文 参考訳(メタデータ) (2023-12-09T01:06:08Z) - Exploring the Potential of Large Language Models in Generating
Code-Tracing Questions for Introductory Programming Courses [6.43363776610849]
大規模言語モデル(LLM)は、プログラミングコースでコードトレースの質問を生成するために使用することができる。
我々は,教育とNLP研究コミュニティの双方にとって貴重な資源として,人間とLLMが生成するトレーシング質問のデータセットを提示する。
論文 参考訳(メタデータ) (2023-10-23T19:35:01Z) - Exploring the Potential of Large Language Models to Generate Formative
Programming Feedback [0.5371337604556311]
計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。
これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。
その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。
しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
論文 参考訳(メタデータ) (2023-08-31T15:22:11Z) - UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。
本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。
学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
論文 参考訳(メタデータ) (2023-05-31T11:29:04Z) - Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions
about Code [0.0]
我々は,3つの生成事前学習型トランスフォーマー(GPT)モデルの有効性を,MCQ (Multiple-choice Question) の評価に答えるために分析した。
これらの知見は、プログラミングコースにおける教育実践や評価に適応するために、教育者によって活用することができる。
論文 参考訳(メタデータ) (2023-03-09T16:52:12Z) - Python Code Generation by Asking Clarification Questions [57.63906360576212]
本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。
我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。
我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
論文 参考訳(メタデータ) (2022-12-19T22:08:36Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Learning to Ask Conversational Questions by Optimizing Levenshtein
Distance [83.53855889592734]
明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。
RISEは会話の特徴に関連するトークンに注意を払うことができる。
2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
論文 参考訳(メタデータ) (2021-06-30T08:44:19Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-10-29T18:28:16Z) - Semantic Graphs for Generating Deep Questions [98.5161888878238]
本稿では、まず、入力文書のセマンティックレベルグラフを構築し、次にアテンションベースのGGNN(Att-GGNN)を導入してセマンティックグラフを符号化する新しいフレームワークを提案する。
HotpotQAのDeep-question中心のデータセットでは、複数の事実の推論を必要とする問題よりもパフォーマンスが大幅に向上し、最先端のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2020-04-27T10:52:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。