論文の概要: Large Language Models (GPT) for automating feedback on programming assignments

• arxiv url: http://arxiv.org/abs/2307.00150v1
• Date: Fri, 30 Jun 2023 21:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:40:40.643953
• Title: Large Language Models (GPT) for automating feedback on programming assignments
• Title（参考訳）: プログラミング課題に対するフィードバック自動化のための大規模言語モデル(GPT)
• Authors: Maciej Pankiewicz and Ryan S. Baker
• Abstract要約: 我々は,プログラミング課題を解決するためのパーソナライズされたヒントを生成するために,OpenAIのGPT-3.5モデルを採用している。 学生はGPT生成ヒントの有用性を肯定的に評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Addressing the challenge of generating personalized feedback for programming assignments is demanding due to several factors, like the complexity of code syntax or different ways to correctly solve a task. In this experimental study, we automated the process of feedback generation by employing OpenAI's GPT-3.5 model to generate personalized hints for students solving programming assignments on an automated assessment platform. Students rated the usefulness of GPT-generated hints positively. The experimental group (with GPT hints enabled) relied less on the platform's regular feedback but performed better in terms of percentage of successful submissions across consecutive attempts for tasks, where GPT hints were enabled. For tasks where the GPT feedback was made unavailable, the experimental group needed significantly less time to solve assignments. Furthermore, when GPT hints were unavailable, students in the experimental condition were initially less likely to solve the assignment correctly. This suggests potential over-reliance on GPT-generated feedback. However, students in the experimental condition were able to correct reasonably rapidly, reaching the same percentage correct after seven submission attempts. The availability of GPT hints did not significantly impact students' affective state.
• Abstract（参考訳）: プログラムの割り当てに対してパーソナライズされたフィードバックを生成するという課題に対処するには、コードの構文の複雑さやタスクを正しく解決するさまざまな方法など、いくつかの要因がある。 本研究では,OpenAI の GPT-3.5 モデルを用いてフィードバック生成プロセスの自動化を行い,自動評価プラットフォーム上でのプログラミング課題解決のためのパーソナライズされたヒントを生成する。 学生はGPT生成ヒントの有用性を肯定的に評価した。 gptのヒントが有効になっている)実験グループは、プラットフォームの定期的なフィードバックに頼らず、gptのヒントが有効になったタスクの連続的な試みにおいて、成功率でパフォーマンスが向上した。 gptフィードバックが利用できないタスクの場合、実験グループは課題を解決する時間を大幅に削減する必要があった。 さらに, GPTヒントが得られない場合, 実験条件の学生は, 課題を正しく解決する可能性が低かった。 これは、GPT生成フィードバックに過度に依存する可能性があることを示唆している。 しかし, 実験条件の学生は, 適度に迅速に正解し, 7回の提出試験で正解率に達した。 GPTヒントの入手は学生の感情状態に大きな影響を与えなかった。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• The application of GPT-4 in grading design university students' assignment and providing feedback: An exploratory study [5.915297169078896]
  本研究は、カスタムGPTの開発において反復的な研究アプローチを採用する。 GPTとヒトのラッカー間の信頼関係は、一般に教育者によって受け入れられる水準に達した。 適切な指導により、カスタム GPT は、学生の学習の前提条件である一貫した結果を与える。
  論文  参考訳（メタデータ） (2024-09-26T10:09:10Z)
• Navigating Compiler Errors with AI Assistance - A Study of GPT Hints in an Introductory Programming Course [0.23020018305241333]
  大学における初等プログラミングコースにおけるAI支援学習の有効性について検討した。 我々は、GPT-4モデルを用いて、プラットフォーム内のコンパイラエラーに対するパーソナライズされたヒントを生成し、プログラム割り当ての自動評価を行った。 最も一般的な6種類のエラーに対して、実験グループでGPTヒントへのアクセスが可能になったときに、性能の点で混合結果が観察された。
  論文  参考訳（メタデータ） (2024-03-19T13:54:14Z)
• Feedback-Generation for Programming Exercises With GPT-4 [0.0]
  本稿では,プログラミングタスク仕様と学生が入力として提出した入力の両方を含むプロンプトに対して,GPT-4 Turboが生成する出力の品質について検討する。 アウトプットは, 正当性, パーソナライゼーション, フォールトローカライゼーション, その他の特徴について質的に分析した。
  論文  参考訳（メタデータ） (2024-03-07T12:37:52Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming [15.372316943507506]
  そこで我々はChatGPT APIを用いて,導入型コンピュータサイエンスクラスにおける4つの実験室割り当てのための自動フィードバックを生成した。 学生は、フィードバックは、Shuteが確立した形式的なフィードバックガイドラインとよく一致していると感じた。 学生は通常、十分なコード例で特定の修正フィードバックを期待していたが、フィードバックのトーンについて意見が分かれていた。
  論文  参考訳（メタデータ） (2023-12-17T22:26:53Z)
• AI-enhanced Auto-correction of Programming Exercises: How Effective is GPT-3.5? [0.0]
  本稿では、パーソナライズされたコード修正とフィードバック生成におけるAIの可能性について検討する。 GPT-3.5は、実際のエラーではないエラーのローカライズや、幻覚的エラーなど、評価の弱点を示した。
  論文  参考訳（メタデータ） (2023-10-24T10:35:36Z)
• Collaborative Generative AI: Integrating GPT-k for Efficient Editing in Text-to-Image Generation [114.80518907146792]
  GPT-kのような大規模言語モデルを利用してテキスト・画像生成の迅速な編集プロセスを改善する可能性について検討する。 我々は、人間とGPT-kの共通編集を比較し、T2Iを誘導する際のGPT-kの性能を評価し、このプロセスに影響を与える可能性のある要因を検討する。
  論文  参考訳（メタデータ） (2023-05-18T21:53:58Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。