論文の概要: A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming

• arxiv url: http://arxiv.org/abs/2606.08807v1
• Date: Sun, 07 Jun 2026 19:55:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.462386
• Title: A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming
• Title（参考訳）: 入門プログラミングにおけるLLM生成フィードバック介入の授業研究
• Authors: Hasnain Heickal, Andrew Lan,
• Abstract要約: 本稿では,Pythonプログラミング入門コースにおいて,AIによるフィードバックが展開される大規模教室スタディを提案する。 学生は、不正な提出に関する3つのフィードバック条件の1つを受け取った。自然言語ヒント、AI生成テストケースの失敗、あるいはAIのフィードバックがない。 自然言語のフィードバックは,解の完成率の向上と解の収束の高速化に大きく関連していることがわかった。
• 参考スコア（独自算出の注目度）: 1.0241350366020698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to provide automated feedback in introductory programming courses, yet empirical evidence from authentic classroom deployments comparing different feedback modalities remains limited. In this work, we present a large-scale classroom study in which AI-generated feedback was deployed through a randomized protocol in an introductory Python programming course. Students received one of three feedback conditions on incorrect submissions: natural language hints, AI-generated failing test cases, or no AI feedback. We release the resulting dataset, ProgFeed, which captures 6,693 submissions from 215 consenting students across 17 labs, including feedback conditions, execution-based performance measures, and fine-grained temporal information. Using this data, we analyze learning trajectories, feedback quality, and submission behavior over repeated attempts. We find that natural language feedback is significantly associated with higher completion rates and faster convergence to correct solutions. Test case feedback, by contrast, exhibits heterogeneous effects that depend critically on feedback validity. Our results suggest that the form of AI-generated feedback matters, and that evaluating feedback quality -- not just its presence -- is essential for understanding its pedagogical impact.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、導入プログラミングコースで自動フィードバックを提供するためにますます使われていますが、異なるフィードバックのモダリティを比較する実際の教室配置による実証的な証拠は限られています。 そこで本研究では,Pythonプログラミングの入門コースにおいて,ランダムなプロトコルを通じてAI生成フィードバックが展開される大規模な教室スタディを提案する。 学生は、不正な提出に関する3つのフィードバック条件の1つを受け取った。自然言語ヒント、AI生成テストケースの失敗、あるいはAIのフィードバックがない。 得られたデータセットであるProgFeedは、フィードバック条件、実行ベースのパフォーマンス測定、きめ細かい時間情報を含む、17の研究室にわたる215人の学生からの6,693件の応募をキャプチャする。 このデータを用いて,繰り返し試みによる学習軌跡,フィードバック品質,提出行動を分析した。 自然言語のフィードバックは,解の完成率の向上と解の収束の高速化に大きく関連していることがわかった。 テストケースのフィードバックは、対照的に、フィードバックの妥当性に重要な不均一な効果を示す。 我々の結果は、AIが生み出すフィードバックの形式は重要であり、フィードバックの質を評価することは、その教育的影響を理解する上で重要であることを示唆している。

関連論文リスト

• Simulating Students or Sycophantic Problem Solving? On Misconception Faithfulness of LLM Simulators [55.617099475539305]
  大規模言語モデル(LLM)は、生徒のような反応を流線型に生成できるため、AI教師や人間教育者のトレーニングや評価のための模擬学生として魅力的である。 しかし、このようなシミュレータは、実際の学生と出力の類似性によって評価され、相互作用中に一貫性のある誤解を持つ学生のように振る舞うかどうかによって評価される。 シミュレーションが誤解駆動の信念状態を維持しているかどうかを判断し、フィードバックが誤解に対処した場合に選択的に更新する。
  論文  参考訳（メタデータ） (2026-05-12T20:55:23Z)
• Humanizing Automated Programming Feedback: Fine-Tuning Generative Models with Student-Written Feedback [21.114005575615586]
  我々は、人間が書いたものに近いフィードバックを生成するための言語モデルを微調整する手段として、学習者ソーシングを探求する。 学生による複数のプログラミング問題やバグジープログラムに対するフィードバックを約1,900件収集した。 この結果から,学習データに基づく微調整モデルでは,学生のフィードバックスタイルに適合するフィードバックが生成されるだけでなく,迅速なエンジニアリングによるフィードバックよりも精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T19:23:05Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Effects of Human vs. Automatic Feedback on Students' Understanding of AI Concepts and Programming Style [0.0]
  自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。 コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。 本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
  論文  参考訳（メタデータ） (2020-11-20T21:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。