論文の概要: Code Generation Based Grading: Evaluating an Auto-grading Mechanism for "Explain-in-Plain-English" Questions

• arxiv url: http://arxiv.org/abs/2311.14903v1
• Date: Sat, 25 Nov 2023 02:45:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 22:55:28.534616
• Title: Code Generation Based Grading: Evaluating an Auto-grading Mechanism for "Explain-in-Plain-English" Questions
• Title（参考訳）: コード生成に基づく格付け:「説明・説明・英語」質問の自動格付け機構の評価
• Authors: David H. Smith IV and Craig Zilles
• Abstract要約: コード生成ベースグラディング(CGBG)は、人間の学年と適度に合意する。 CGBGは、コードの低レベルおよびライン・バイ・ライン記述に関して、人間のグレードラーと適度に合意する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comprehending and elucidating the purpose of code is often cited as being a key learning objective within introductory programming courses. To address this objective ``Explain-in-Plain-English'' questions, in which students are shown a segment of code and asked to provide an abstract description of the code's purpose, have been adopted. However, given EiPE questions require a natural language response, they often require manual grading which is time-consuming for course staff and delays feedback for students. With the advent of large language models (LLMs) capable of generating code, responses to EiPE questions can be used to generate code segments, the correctness of which can then be easily verified using test cases. We refer to this approach as "Code Generation Based Grading" (CGBG) and in this paper we explore its agreement with human graders using EiPE responses from past exams in an introductory programming course taught in Python. Overall, we find that CGBG achieves moderate agreement with human graders with the primary area of disagreement being its leniency with respect to low-level and line-by-line descriptions of code.
• Abstract（参考訳）: コードの目的の理解と解明は、入門プログラミングコースにおける重要な学習目標として言及されることが多い。 この目的である「説明-in-Plain- English」質問に対処するため、学生はコードの一部を示し、コードの目的を抽象的に記述するよう依頼された。 しかし、固有質問は自然言語応答を必要とするため、授業スタッフに時間がかかる手動の採点と学生へのフィードバックの遅れがしばしば必要となる。 コードを生成する大きな言語モデル(LLM)の出現により、EePE質問に対する応答を使用してコードセグメントを生成することができ、その正確性はテストケースを使って容易に検証できる。 本稿では,この手法をCGBG(Code Generation Based Grading)と呼ぶ。本論文では,Pythonで教えられた入門プログラミングコースにおいて,過去の試験からEePE応答を用いた人間グレーダとの合意について検討する。 概して、CGBGは、低レベルのコードや行ごとのコード記述に対して、主要な不一致領域が冗長性であることから、人間の中等生と適度な合意を達成している。

関連論文リスト

• Explain in Plain Language Questions with Indic Languages: Drawbacks, Affordances, and Opportunities [1.9121661610146587]
  我々は,最近導入されたCGBG (Code Generation Based Grading) による,平易言語活動における言語に依存しない説明を可能にする手法の有効性を評価した。
  論文  参考訳（メタデータ） (2024-09-30T13:56:29Z)
• Mining patterns in syntax trees to automate code reviews of student solutions for programming exercises [0.0]
  本稿では,教育コードレビューにおけるフィードバックの再利用を自動化する機械学習手法ECHOを紹介する。 自動リンティングツールとヒューマンレビュアーの両方のアノテーションに基づいて,ECHOが適切なフィードバックアノテーションを正確かつ迅速に予測できることを示す。
  論文  参考訳（メタデータ） (2024-04-26T14:03:19Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Explaining Code with a Purpose: An Integrated Approach for Developing Code Comprehension and Prompting Skills [4.776920192249936]
  我々は,EePE質問に対する学生の回答に基づいて,LLMを用いてコードを生成することを提案する。 我々は,EePEの問題解決に有効なプロンプトの作成に学生が成功したことを報告した。
  論文  参考訳（メタデータ） (2024-03-10T00:23:08Z)
• Exploring the Potential of Large Language Models to Generate Formative Programming Feedback [0.5371337604556311]
  計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。 これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。 その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。 しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
  論文  参考訳（メタデータ） (2023-08-31T15:22:11Z)
• Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions about Code [0.0]
  我々は,3つの生成事前学習型トランスフォーマー(GPT)モデルの有効性を,MCQ (Multiple-choice Question) の評価に答えるために分析した。 これらの知見は、プログラミングコースにおける教育実践や評価に適応するために、教育者によって活用することができる。
  論文  参考訳（メタデータ） (2023-03-09T16:52:12Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via Alternate Meta-learning [56.771557756836906]
  本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。 本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-29T18:28:16Z)
• Semantic Graphs for Generating Deep Questions [98.5161888878238]
  本稿では、まず、入力文書のセマンティックレベルグラフを構築し、次にアテンションベースのGGNN(Att-GGNN)を導入してセマンティックグラフを符号化する新しいフレームワークを提案する。 HotpotQAのDeep-question中心のデータセットでは、複数の事実の推論を必要とする問題よりもパフォーマンスが大幅に向上し、最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-27T10:52:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。