論文の概要: Students' Perceptions and Preferences of Generative Artificial
Intelligence Feedback for Programming
- arxiv url: http://arxiv.org/abs/2312.11567v1
- Date: Sun, 17 Dec 2023 22:26:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:19:17.074971
- Title: Students' Perceptions and Preferences of Generative Artificial
Intelligence Feedback for Programming
- Title（参考訳）: プログラミングのための生成的人工知能フィードバックの学生の認識と評価
- Authors: Zhengdong Zhang, Zihan Dong, Yang Shi, Noboru Matsuda, Thomas Price,
Dongkuan Xu
- Abstract要約: そこで我々はChatGPT APIを用いて,導入型コンピュータサイエンスクラスにおける4つの実験室割り当てのための自動フィードバックを生成した。
学生は、フィードバックは、Shuteが確立した形式的なフィードバックガイドラインとよく一致していると感じた。
学生は通常、十分なコード例で特定の修正フィードバックを期待していたが、フィードバックのトーンについて意見が分かれていた。
- 参考スコア（独自算出の注目度）: 15.372316943507506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid evolution of artificial intelligence (AI), specifically large
language models (LLMs), has opened opportunities for various educational
applications. This paper explored the feasibility of utilizing ChatGPT, one of
the most popular LLMs, for automating feedback for Java programming assignments
in an introductory computer science (CS1) class. Specifically, this study
focused on three questions: 1) To what extent do students view LLM-generated
feedback as formative? 2) How do students see the comparative affordances of
feedback prompts that include their code, vs. those that exclude it? 3) What
enhancements do students suggest for improving AI-generated feedback? To
address these questions, we generated automated feedback using the ChatGPT API
for four lab assignments in the CS1 class. The survey results revealed that
students perceived the feedback as aligning well with formative feedback
guidelines established by Shute. Additionally, students showed a clear
preference for feedback generated by including the students' code as part of
the LLM prompt, and our thematic study indicated that the preference was mainly
attributed to the specificity, clarity, and corrective nature of the feedback.
Moreover, this study found that students generally expected specific and
corrective feedback with sufficient code examples, but had diverged opinions on
the tone of the feedback. This study demonstrated that ChatGPT could generate
Java programming assignment feedback that students perceived as formative. It
also offered insights into the specific improvements that would make the
ChatGPT-generated feedback useful for students.
- Abstract（参考訳）: 人工知能(AI)の急速な進化、特に大きな言語モデル(LLM)は、様々な教育応用の機会を開いた。
本稿では、最も人気のあるLCMであるChatGPTを用いて、導入型コンピュータサイエンス(CS1)クラスにおけるJavaプログラミング課題のフィードバックを自動化する可能性について検討する。
具体的には,3つの質問に焦点をあてる。
1) 学生はLLM生成フィードバックを形式的と考えるか?
2) 学生はコードを含むフィードバックプロンプトとそれを除くプロンプトの相対的な余裕をどのように見ているだろうか?
3) 学生はAIによるフィードバックを改善するためにどのような改善を提案するか?
これらの問題に対処するため、CS1クラスで4つの実験室割り当てのためのChatGPT APIを使用して自動フィードバックを生成した。
調査の結果,学生はフィードバックがShuteが確立した形式的フィードバックガイドラインとよく一致していると感じた。
さらに,LLMプロンプトの一部として学生のコードを含めることによるフィードバックの嗜好が明確であり,本研究は,フィードバックの特異性,明快性,補正性に起因することが示唆された。
さらに, 学生は, 十分なコード例で, 特定の, 訂正的なフィードバックを期待する傾向を示したが, フィードバックのトーンに関する意見は異なっていた。
本研究は,ChatGPTがJavaプログラム代入フィードバックを生成できることを示した。
また、ChatGPTが生成するフィードバックを学生に有用なものにする、特定の改善に関する洞察も提供した。
関連論文リスト
- TAMIGO: Empowering Teaching Assistants using LLM-assisted viva and code assessment in an Advanced Computing Class [3.3567738223900645]
本稿では,ビバとコードアセスメントを用いた指導支援システムにおける大規模言語モデルの適用について検討する。
我々は,プログラミング課題を評価するためのLLMベースのTAMシステムであるTAMIGOを開発した。
我々は, LLM生成ビバ質問の品質, モデル回答, ビバ回答に対するフィードバック, 学生コード提出に対するフィードバックを評価した。
論文 参考訳（メタデータ） (2024-07-23T19:12:13Z) - Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。
具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。
LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
論文 参考訳（メタデータ） (2024-04-28T17:56:14Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Can ChatGPT Play the Role of a Teaching Assistant in an Introductory
Programming Course? [1.8197265299982013]
本稿では,LLM である ChatGPT をプログラミング入門コースで仮想指導アシスタント (TA) として活用する可能性について検討する。
本研究は,ChatGPTの性能をヒトTAの機能と比較することにより評価する。
論文 参考訳（メタデータ） (2023-12-12T15:06:44Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - Exploring the Potential of Large Language Models to Generate Formative
Programming Feedback [0.5371337604556311]
計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。
これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。
その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。
しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
論文 参考訳（メタデータ） (2023-08-31T15:22:11Z) - System-Level Natural Language Feedback [83.24259100437965]
システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。
検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。
システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
論文 参考訳（メタデータ） (2023-06-23T16:21:40Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳（メタデータ） (2022-11-16T10:00:23Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Effects of Human vs. Automatic Feedback on Students' Understanding of AI
Concepts and Programming Style [0.0]
自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。
コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。
本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
論文 参考訳（メタデータ） (2020-11-20T21:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。