論文の概要: 61A-Bot: AI homework assistance in CS1 is fast and cheap -- but is it helpful?
- arxiv url: http://arxiv.org/abs/2406.05600v1
- Date: Sun, 9 Jun 2024 00:23:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 18:56:27.611239
- Title: 61A-Bot: AI homework assistance in CS1 is fast and cheap -- but is it helpful?
- Title(参考訳): 61A-Bot: CS1のAI宿題支援は高速で安価ですが、役に立ちますか?
- Authors: J. D. Zamfirescu-Pereira, Laryn Qi, Björn Hartmann, John DeNero, Narges Norouzi,
- Abstract要約: 本稿では,大規模CS1コースの学生を対象に,GPT-4を用いた対話型宿題アシスタント(61A-Bot)の開発と展開について報告する。
宿題の完了時間を大幅に短縮する。
これらは50~80年生の生徒にとって最も顕著であり、30分以上、標準偏差は4回以上も前学期よりも速い。
- 参考スコア(独自算出の注目度): 9.973179186668393
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Chatbot interfaces for LLMs enable students to get immediate, interactive help on homework assignments, but even a thoughtfully-designed bot may not serve all pedagogical goals. In this paper, we report on the development and deployment of a GPT-4-based interactive homework assistant ("61A-Bot") for students in a large CS1 course; over 2000 students made over 100,000 requests of our bot across two semesters. Our assistant offers one-shot, contextual feedback, through both a "Get Help" button within a popular code editor, as well as a "get feedback" feature within our command-line autograder. These triggers wrap student code in a custom prompt that supports our pedagogical goals and avoids providing solutions directly. We discuss our development process and deployment, then analyze possible impacts of our Bot on students, primarily through student feedback and how long it takes students to complete homework problems. We ask: how does access to 61A-Bot impact homework completion time and subsequent course performance? In addition to reductions in homework-related question rates in our course forum, we find substantial reductions in homework completion time. These are most pronounced for students in the 50th-80th percentile, with reductions of over 30 minutes, over 4 standard deviations faster than the mean in prior semesters. However, it is not clear that these effects transfer to assignment contexts where the Bot is not available: we observe speedups in some contexts, no change in others, and some assignments later in the semester even show a slowdown instead. Though we have begun to disentangle these effects, further research is needed.
- Abstract(参考訳): LLM用のチャットボットインタフェースを使えば、学生はすぐに対話的で宿題を手伝うことができるが、思慮深く設計されたボットでさえ、すべての教育的目標を達成できないかもしれない。
本稿では,大規模CS1コースの学生を対象に,GPT-4ベースの対話型宿題アシスタント「61A-Bot」の開発と展開について報告する。
私たちのアシスタントは、人気のあるコードエディタ内の"Get Help"ボタンとコマンドラインオートグレーダ内の"get feedback"機能を通じて、ワンショット、コンテキストフィードバックを提供します。
これらのトリガーは、生徒のコードを独自のプロンプトでラップし、教育的な目標をサポートし、ソリューションを直接提供しないようにします。
開発プロセスと展開について検討し,学生のフィードバックや宿題の完了に要する時間などを通じて,ボットが学生に与える影響を分析した。
61A-Botへのアクセスは、宿題の完了時間とその後のコースのパフォーマンスにどのように影響しますか?
コースフォーラムにおける宿題関連質問率の削減に加えて,宿題完了時間を大幅に短縮した。
これらは50~80年生の生徒にとって最も顕著であり、30分以上、標準偏差は4回以上も前学期よりも速い。
しかしながら、これらのエフェクトがBotが利用できない割り当てコンテキストに転送されるかどうかは不明だ。いくつかのコンテキストではスピードアップが観察され、他のコンテキストでは変更されない。
我々はこれらの効果を解き放つようになったが、さらなる研究が必要である。
関連論文リスト
- WIP: A Unit Testing Framework for Self-Guided Personalized Online Robotics Learning [3.613641107321095]
本稿では,授業ワークフローに統合しながら,単体テストのためのシステムを構築することに焦点を当てる。
フレームワークのパーソナライズされた学生中心のアプローチに合わせて、この方法は学生がプログラミング作業を簡単に修正し、デバッグできるようにする。
単体テストを含むコースワークフローは、学習環境を強化し、学生が自己指導型でロボットをプログラムする方法を学習できるように、よりインタラクティブにする。
論文 参考訳(メタデータ) (2024-05-18T00:56:46Z) - YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。
モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。
実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文 参考訳(メタデータ) (2024-01-28T14:32:15Z) - Using Assignment Incentives to Reduce Student Procrastination and
Encourage Code Review Interactions [2.1684358357001465]
この研究は、学生に期限の何日も前に課題を完了するよう促すインセンティブシステムを示す。
完成した課題は、正しさとフィードバックを提供するためにスタッフによってコードレビューされ、結果としてより多くの学生と教師の相互作用がもたらされる。
インセンティブによって学生の行動が変化し、45%の割り当てが早期に完了し、期限の4日前まで30%が完了した。
論文 参考訳(メタデータ) (2023-11-25T22:17:40Z) - Does Starting Deep Learning Homework Earlier Improve Grades? [63.20583929886827]
宿題を早く始め、より多くの時間を費やしている学生は、宿題の成績が良くなるはずだ。
既存の文献が宿題に費やした時間の影響は明確ではなく、主にK-12教育から来ている。
我々は,学生の成功に対する影響を原則的に結論付けるために,階層的ベイズモデルを構築した。
論文 参考訳(メタデータ) (2023-09-30T09:34:30Z) - Smart tutor to provide feedback in programming courses [0.0]
学生のプログラミングに関する質問に答えるAIベースのインテリジェントチューターを提案する。
このツールは、全コースでURJCの大学生によってテストされている。
論文 参考訳(メタデータ) (2023-01-24T11:00:06Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳(メタデータ) (2022-11-16T10:00:23Z) - TecCoBot: Technology-aided support for self-regulated learning [52.77024349608834]
自己学習活動は、学習成果の達成への活動の程度と自己学習活動の貢献を高めることができる。
特に世界的なパンデミックの時代には、学生が既に技術強化された材料、プロセス、デジタルプラットフォームを使っている家庭で、自己学習活動がますます活発に行われている。
論文 参考訳(メタデータ) (2021-11-23T13:50:21Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。