論文の概要: Exploring the Potential of Large Language Models to Generate Formative Programming Feedback

• arxiv url: http://arxiv.org/abs/2309.00029v1
• Date: Thu, 31 Aug 2023 15:22:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 15:41:33.060727
• Title: Exploring the Potential of Large Language Models to Generate Formative Programming Feedback
• Title（参考訳）: 大規模言語モデルによるプログラミングフィードバック生成の可能性の検討
• Authors: Natalie Kiesler, Dominic Lohr, Hieke Keuning
• Abstract要約: 計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。 これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。 その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。 しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ever since the emergence of large language models (LLMs) and related applications, such as ChatGPT, its performance and error analysis for programming tasks have been subject to research. In this work-in-progress paper, we explore the potential of such LLMs for computing educators and learners, as we analyze the feedback it generates to a given input containing program code. In particular, we aim at (1) exploring how an LLM like ChatGPT responds to students seeking help with their introductory programming tasks, and (2) identifying feedback types in its responses. To achieve these goals, we used students' programming sequences from a dataset gathered within a CS1 course as input for ChatGPT along with questions required to elicit feedback and correct solutions. The results show that ChatGPT performs reasonably well for some of the introductory programming tasks and student errors, which means that students can potentially benefit. However, educators should provide guidance on how to use the provided feedback, as it can contain misleading information for novices.
• Abstract（参考訳）: 大規模言語モデル(LLM)やChatGPTなどの関連アプリケーションが登場して以来、プログラミングタスクのパフォーマンスとエラー解析は研究の対象となっている。 本稿では,プログラムコードを含む入力に対して生成したフィードバックを解析し,学習者や教育者にとってのLLMの可能性について検討する。 特に,第1に,初歩的なプログラミングタスクの助けを求める学生に対して,ChatGPTのようなLLMがどのように反応するか,(2)応答のフィードバックタイプを特定することを目的とした。 これらの目標を達成するために, cs1コースに収集したデータセットから, chatgptの入力として, フィードバックと正しい解の導出に必要な質問として, 学生のプログラミングシーケンスを用いた。 その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。 しかし、教育者は、初心者向けの誤解を招く情報を含むため、提供されたフィードバックの使い方についてのガイダンスを提供するべきである。

関連論文リスト

• Analyzing Chat Protocols of Novice Programmers Solving Introductory Programming Tasks with ChatGPT [0.12289361708127876]
  大規模なドイツの大学の学生は、ChatGPTの助けを借りてプログラミング演習の解決に動機づけられた。 データは、プロンプト、頻度、チャットの進行状況、内容、その他の利用パターンについて分析された。
  論文  参考訳（メタデータ） (2024-05-29T14:38:32Z)
• Enhancing Programming Education with ChatGPT: A Case Study on Student Perceptions and Interactions in a Python Course [7.182952031323369]
  本稿では,8週間にわたる1年生向けのPythonプログラミングコースにおいて,ChatGPTが学習に与える影響について検討する。 調査,オープンエンド質問,学生-ChatGPTダイアログデータからの回答を分析して,ChatGPTの有用性を総合的に把握することを目的とする。 本研究は,ChatGPTに対する肯定的な反応を明らかにし,プログラミング教育経験の向上におけるChatGPTの役割について考察する。
  論文  参考訳（メタデータ） (2024-03-20T15:47:28Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming [15.372316943507506]
  そこで我々はChatGPT APIを用いて,導入型コンピュータサイエンスクラスにおける4つの実験室割り当てのための自動フィードバックを生成した。 学生は、フィードバックは、Shuteが確立した形式的なフィードバックガイドラインとよく一致していると感じた。 学生は通常、十分なコード例で特定の修正フィードバックを期待していたが、フィードバックのトーンについて意見が分かれていた。
  論文  参考訳（メタデータ） (2023-12-17T22:26:53Z)
• Can ChatGPT Play the Role of a Teaching Assistant in an Introductory Programming Course? [1.8197265299982013]
  本稿では,LLM である ChatGPT をプログラミング入門コースで仮想指導アシスタント (TA) として活用する可能性について検討する。 本研究は,ChatGPTの性能をヒトTAの機能と比較することにより評価する。
  論文  参考訳（メタデータ） (2023-12-12T15:06:44Z)
• Next-Step Hint Generation for Introductory Programming Using Large Language Models [0.8002196839441036]
  大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。 本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
  論文  参考訳（メタデータ） (2023-12-03T17:51:07Z)
• Eliciting Human Preferences with Language Models [56.68637202313052]
  言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。 タスク仕様プロセスのガイドには*LM自身を使うことを提案します。 我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
  論文  参考訳（メタデータ） (2023-10-17T21:11:21Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。