論文の概要: 61A-Bot: AI homework assistance in CS1 is fast and cheap -- but is it helpful?
- arxiv url: http://arxiv.org/abs/2406.05600v1
- Date: Sun, 9 Jun 2024 00:23:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 18:56:27.611239
- Title: 61A-Bot: AI homework assistance in CS1 is fast and cheap -- but is it helpful?
- Title（参考訳）: 61A-Bot: CS1のAI宿題支援は高速で安価ですが、役に立ちますか?
- Authors: J. D. Zamfirescu-Pereira, Laryn Qi, Björn Hartmann, John DeNero, Narges Norouzi,
- Abstract要約: 本稿では,大規模CS1コースの学生を対象に,GPT-4を用いた対話型宿題アシスタント(61A-Bot)の開発と展開について報告する。
宿題の完了時間を大幅に短縮する。
これらは50～80年生の生徒にとって最も顕著であり、30分以上、標準偏差は4回以上も前学期よりも速い。
- 参考スコア（独自算出の注目度）: 9.973179186668393
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Chatbot interfaces for LLMs enable students to get immediate, interactive help on homework assignments, but even a thoughtfully-designed bot may not serve all pedagogical goals. In this paper, we report on the development and deployment of a GPT-4-based interactive homework assistant ("61A-Bot") for students in a large CS1 course; over 2000 students made over 100,000 requests of our bot across two semesters. Our assistant offers one-shot, contextual feedback, through both a "Get Help" button within a popular code editor, as well as a "get feedback" feature within our command-line autograder. These triggers wrap student code in a custom prompt that supports our pedagogical goals and avoids providing solutions directly. We discuss our development process and deployment, then analyze possible impacts of our Bot on students, primarily through student feedback and how long it takes students to complete homework problems. We ask: how does access to 61A-Bot impact homework completion time and subsequent course performance? In addition to reductions in homework-related question rates in our course forum, we find substantial reductions in homework completion time. These are most pronounced for students in the 50th-80th percentile, with reductions of over 30 minutes, over 4 standard deviations faster than the mean in prior semesters. However, it is not clear that these effects transfer to assignment contexts where the Bot is not available: we observe speedups in some contexts, no change in others, and some assignments later in the semester even show a slowdown instead. Though we have begun to disentangle these effects, further research is needed.
- Abstract（参考訳）: LLM用のチャットボットインタフェースを使えば、学生はすぐに対話的で宿題を手伝うことができるが、思慮深く設計されたボットでさえ、すべての教育的目標を達成できないかもしれない。
本稿では,大規模CS1コースの学生を対象に,GPT-4ベースの対話型宿題アシスタント「61A-Bot」の開発と展開について報告する。
私たちのアシスタントは、人気のあるコードエディタ内の"Get Help"ボタンとコマンドラインオートグレーダ内の"get feedback"機能を通じて、ワンショット、コンテキストフィードバックを提供します。
これらのトリガーは、生徒のコードを独自のプロンプトでラップし、教育的な目標をサポートし、ソリューションを直接提供しないようにします。
開発プロセスと展開について検討し,学生のフィードバックや宿題の完了に要する時間などを通じて,ボットが学生に与える影響を分析した。
61A-Botへのアクセスは、宿題の完了時間とその後のコースのパフォーマンスにどのように影響しますか?
コースフォーラムにおける宿題関連質問率の削減に加えて,宿題完了時間を大幅に短縮した。
これらは50～80年生の生徒にとって最も顕著であり、30分以上、標準偏差は4回以上も前学期よりも速い。
しかしながら、これらのエフェクトがBotが利用できない割り当てコンテキストに転送されるかどうかは不明だ。いくつかのコンテキストではスピードアップが観察され、他のコンテキストでは変更されない。
我々はこれらの効果を解き放つようになったが、さらなる研究が必要である。
関連論文リスト
- How Do Programming Students Use Generative AI? [7.863638253070439]
プログラミングの学生がChatGPTのような生成AIツールを実際にどのように使っているかを検討した。
一般的な概念に関する知識を探り,ソリューションを直接生成する,という2つの一般的な利用戦略を観察した。
その結果,ジェネレーティブAIによるプログラマエージェンシーの潜在的な減少と生産性に関する懸念が正当であることが示唆された。
論文 参考訳（メタデータ） (2025-01-17T10:25:41Z) - Integrating AI Tutors in a Programming Course [0.0]
RAGManはLLMベースのチューターシステムで、様々なコース特化および宿題特化AIチューターをサポートする。
本稿では,AI教師とのインタラクション,学生のフィードバック,および比較グレード分析について述べる。
論文 参考訳（メタデータ） (2024-07-14T00:42:39Z) - YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。
モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。
実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文 参考訳（メタデータ） (2024-01-28T14:32:15Z) - Using Assignment Incentives to Reduce Student Procrastination and
Encourage Code Review Interactions [2.1684358357001465]
この研究は、学生に期限の何日も前に課題を完了するよう促すインセンティブシステムを示す。
完成した課題は、正しさとフィードバックを提供するためにスタッフによってコードレビューされ、結果としてより多くの学生と教師の相互作用がもたらされる。
インセンティブによって学生の行動が変化し、45%の割り当てが早期に完了し、期限の4日前まで30%が完了した。
論文 参考訳（メタデータ） (2023-11-25T22:17:40Z) - Automated Questions About Learners' Own Code Help to Detect Fragile
Knowledge [0.0]
学生は、実際にどのように動作するかを脆弱に理解していても、正しく機能するプログラムコードを作成できる。
個々のエクササイズ提出書(QLC)から自動的に抽出された質問は、学生が作成したコードの構造とロジックを十分に理解しているかどうかを調査することができる。
論文 参考訳（メタデータ） (2023-06-28T14:49:16Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - Smart tutor to provide feedback in programming courses [0.0]
学生のプログラミングに関する質問に答えるAIベースのインテリジェントチューターを提案する。
このツールは、全コースでURJCの大学生によってテストされている。
論文 参考訳（メタデータ） (2023-01-24T11:00:06Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳（メタデータ） (2022-11-16T10:00:23Z) - TecCoBot: Technology-aided support for self-regulated learning [52.77024349608834]
自己学習活動は、学習成果の達成への活動の程度と自己学習活動の貢献を高めることができる。
特に世界的なパンデミックの時代には、学生が既に技術強化された材料、プロセス、デジタルプラットフォームを使っている家庭で、自己学習活動がますます活発に行われている。
論文 参考訳（メタデータ） (2021-11-23T13:50:21Z) - Using Machine Learning to Predict Engineering Technology Students'
Success with Computer Aided Design [50.591267188664666]
機械学習技術と組み合わせたデータによって、特定の学生がデザインタスクでどれだけうまく機能するかを予測する方法を示す。
初期設計シーケンスアクションを用いたモデルは,特に予測に有用であることが判明した。
これらのモデルをさらに改善することで、事前の予測が得られ、学生のフィードバックがより早く得られるようになり、学習が向上する可能性がある。
論文 参考訳（メタデータ） (2021-08-12T20:24:54Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。