論文の概要: Effects of Human vs. Automatic Feedback on Students' Understanding of AI
Concepts and Programming Style
- arxiv url: http://arxiv.org/abs/2011.10653v1
- Date: Fri, 20 Nov 2020 21:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-23 14:44:55.621737
- Title: Effects of Human vs. Automatic Feedback on Students' Understanding of AI
Concepts and Programming Style
- Title（参考訳）: 人間対自動フィードバックがAI概念とプログラミングスタイルの理解に及ぼす影響
- Authors: Abe Leite and Sa\'ul A. Blanco
- Abstract要約: 自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。
コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。
本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of automatic grading tools has become nearly ubiquitous in large
undergraduate programming courses, and recent work has focused on improving the
quality of automatically generated feedback. However, there is a relative lack
of data directly comparing student outcomes when receiving computer-generated
feedback and human-written feedback. This paper addresses this gap by splitting
one 90-student class into two feedback groups and analyzing differences in the
two cohorts' performance. The class is an intro to AI with programming HW
assignments. One group of students received detailed computer-generated
feedback on their programming assignments describing which parts of the
algorithms' logic was missing; the other group additionally received
human-written feedback describing how their programs' syntax relates to issues
with their logic, and qualitative (style) recommendations for improving their
code. Results on quizzes and exam questions suggest that human feedback helps
students obtain a better conceptual understanding, but analyses found no
difference between the groups' ability to collaborate on the final project. The
course grade distribution revealed that students who received human-written
feedback performed better overall; this effect was the most pronounced in the
middle two quartiles of each group. These results suggest that feedback about
the syntax-logic relation may be a primary mechanism by which human feedback
improves student outcomes.
- Abstract（参考訳）: 大規模な学部プログラミングコースでは,自動採点ツールの利用が普及し,近年では自動生成フィードバックの品質向上に重点が置かれている。
しかし,コンピュータが生成したフィードバックや人間によるフィードバックを学生の成果と直接比較するデータは比較的少ない。
本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
このクラスは、HW割り当てをプログラミングするAIの入門である。
ある学生グループは、アルゴリズムのロジックのどの部分が欠けているかを記述するプログラムの割り当てに関する詳細なコンピュータ生成フィードバックを受け取り、他のグループは、プログラムの構文がロジックの問題とどう関係しているかを記述した人文によるフィードバックを受け取り、コードを改善するための質的(スタイルの)レコメンデーションを受けた。
クイズと試験の質問の結果から、人間のフィードバックは学生の理解を深める助けになることが示唆されたが、分析の結果、最終プロジェクトでの協力能力には差がなかった。
コースグレードの分布から,人書きフィードバックを受けた学生は全体の成績が良く,各グループ中2学年で最も顕著であった。
これらの結果から,構文・論理関係に関するフィードバックは,人間のフィードバックが学生の成果を改善する主要なメカニズムである可能性が示唆された。
関連論文リスト
- Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Identifying Student Profiles Within Online Judge Systems Using
Explainable Artificial Intelligence [6.638206014723678]
オンライン審査員(OJ)システムは通常、学生によって開発されたコードの高速かつ客観的な評価を得られるため、プログラミング関連のコースの中で考慮される。
本研究の目的は,OJが収集した情報のさらなる活用を考慮し,学生とインストラクターの両方のフィードバックを自動的に推測することで,この制限に対処することである。
論文 参考訳（メタデータ） (2024-01-29T12:11:30Z) - Students' Perceptions and Preferences of Generative Artificial
Intelligence Feedback for Programming [15.372316943507506]
そこで我々はChatGPT APIを用いて,導入型コンピュータサイエンスクラスにおける4つの実験室割り当てのための自動フィードバックを生成した。
学生は、フィードバックは、Shuteが確立した形式的なフィードバックガイドラインとよく一致していると感じた。
学生は通常、十分なコード例で特定の修正フィードバックを期待していたが、フィードバックのトーンについて意見が分かれていた。
論文 参考訳（メタデータ） (2023-12-17T22:26:53Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳（メタデータ） (2023-10-10T09:20:14Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳（メタデータ） (2022-11-16T10:00:23Z) - Feedback and Engagement on an Introductory Programming Module [0.0]
自動フィードバックを生成するタスクを含むオンライン学習環境を利用した1年目のプログラミングモジュールにおいて,エンゲージメントと達成度について調査を行った。
エンゲージメントと達成度に関する定量的データを収集し、コホートを6つのグループに分割しました。
その後、モジュールの終了後、学生にインタビューを行い、フィードバックが何であるか、どのくらい有用か、その使用方法、エンゲージメントにどう耐えられるか、といった、質的なデータを生成しました。
論文 参考訳（メタデータ） (2022-01-04T16:53:09Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Deep Discourse Analysis for Generating Personalized Feedback in
Intelligent Tutor Systems [4.716555240531893]
ITS(Intelligent Tutoring System)で、自動化されたパーソナライズされたフィードバックの作成を検討します。
我々のゴールは、学生のより優れた学習目標を達成するために、学生の回答の正しい概念と間違った概念を見極めることである。
論文 参考訳（メタデータ） (2021-03-13T20:33:10Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳（メタデータ） (2020-11-02T08:07:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。