論文の概要: 61A-Bot: AI homework assistance in CS1 is fast and cheap -- but is it helpful?

• arxiv url: http://arxiv.org/abs/2406.05600v1
• Date: Sun, 9 Jun 2024 00:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-11 18:56:27.611239
• Title: 61A-Bot: AI homework assistance in CS1 is fast and cheap -- but is it helpful?
• Title（参考訳）: 61A-Bot: CS1のAI宿題支援は高速で安価ですが、役に立ちますか?
• Authors: J. D. Zamfirescu-Pereira, Laryn Qi, Björn Hartmann, John DeNero, Narges Norouzi,
• Abstract要約: 本稿では,大規模CS1コースの学生を対象に,GPT-4を用いた対話型宿題アシスタント(61A-Bot)の開発と展開について報告する。 宿題の完了時間を大幅に短縮する。 これらは50～80年生の生徒にとって最も顕著であり、30分以上、標準偏差は4回以上も前学期よりも速い。
• 参考スコア（独自算出の注目度）: 9.973179186668393
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Chatbot interfaces for LLMs enable students to get immediate, interactive help on homework assignments, but even a thoughtfully-designed bot may not serve all pedagogical goals. In this paper, we report on the development and deployment of a GPT-4-based interactive homework assistant ("61A-Bot") for students in a large CS1 course; over 2000 students made over 100,000 requests of our bot across two semesters. Our assistant offers one-shot, contextual feedback, through both a "Get Help" button within a popular code editor, as well as a "get feedback" feature within our command-line autograder. These triggers wrap student code in a custom prompt that supports our pedagogical goals and avoids providing solutions directly. We discuss our development process and deployment, then analyze possible impacts of our Bot on students, primarily through student feedback and how long it takes students to complete homework problems. We ask: how does access to 61A-Bot impact homework completion time and subsequent course performance? In addition to reductions in homework-related question rates in our course forum, we find substantial reductions in homework completion time. These are most pronounced for students in the 50th-80th percentile, with reductions of over 30 minutes, over 4 standard deviations faster than the mean in prior semesters. However, it is not clear that these effects transfer to assignment contexts where the Bot is not available: we observe speedups in some contexts, no change in others, and some assignments later in the semester even show a slowdown instead. Though we have begun to disentangle these effects, further research is needed.
• Abstract（参考訳）: LLM用のチャットボットインタフェースを使えば、学生はすぐに対話的で宿題を手伝うことができるが、思慮深く設計されたボットでさえ、すべての教育的目標を達成できないかもしれない。 本稿では,大規模CS1コースの学生を対象に,GPT-4ベースの対話型宿題アシスタント「61A-Bot」の開発と展開について報告する。 私たちのアシスタントは、人気のあるコードエディタ内の"Get Help"ボタンとコマンドラインオートグレーダ内の"get feedback"機能を通じて、ワンショット、コンテキストフィードバックを提供します。 これらのトリガーは、生徒のコードを独自のプロンプトでラップし、教育的な目標をサポートし、ソリューションを直接提供しないようにします。 開発プロセスと展開について検討し,学生のフィードバックや宿題の完了に要する時間などを通じて,ボットが学生に与える影響を分析した。 61A-Botへのアクセスは、宿題の完了時間とその後のコースのパフォーマンスにどのように影響しますか? コースフォーラムにおける宿題関連質問率の削減に加えて,宿題完了時間を大幅に短縮した。 これらは50～80年生の生徒にとって最も顕著であり、30分以上、標準偏差は4回以上も前学期よりも速い。 しかしながら、これらのエフェクトがBotが利用できない割り当てコンテキストに転送されるかどうかは不明だ。いくつかのコンテキストではスピードアップが観察され、他のコンテキストでは変更されない。 我々はこれらの効果を解き放つようになったが、さらなる研究が必要である。

関連論文リスト

• Exploring Student Behaviors and Motivations using AI TAs with Optional Guardrails [2.097564039749475]
  ガードレール(Guardrails)は、直接的なソリューションではなく、足場によるサポートを提供する機能である。 See Solution"機能はガードレールを無効にし、基盤となるモデルから冗長な応答を生成します。 その結果、885人の学生の50%が少なくとも1つの問題に「See Solution」機能を使用し、14%が3つの問題に利用していることがわかった。
  論文  参考訳（メタデータ） (2025-04-15T12:48:22Z)
• Multimodal Programming in Computer Science with Interactive Assistance Powered by Large Language Model [0.0]
  DeepSeek R1をベースとした対話型宿題支援システムを開発した。 生徒の仕事はパーソナライズされたプロンプトで包み、すぐに答えを出すことなく教育目的を前進させる。
  論文  参考訳（メタデータ） (2025-03-09T10:48:47Z)
• How Do Programming Students Use Generative AI? [7.863638253070439]
  プログラミングの学生がChatGPTのような生成AIツールを実際にどのように使っているかを検討した。 一般的な概念に関する知識を探り,ソリューションを直接生成する,という2つの一般的な利用戦略を観察した。 その結果,ジェネレーティブAIによるプログラマエージェンシーの潜在的な減少と生産性に関する懸念が正当であることが示唆された。
  論文  参考訳（メタデータ） (2025-01-17T10:25:41Z)
• GPT-4 as a Homework Tutor can Improve Student Engagement and Learning Outcomes [80.60912258178045]
  我々は,中学生が第二言語として英語を学習するための対話型宿題セッションを,GPT-4で実施できるプロンプト戦略を開発した。 従来の宿題を GPT-4 の宿題に置き換え,4つの高校生の授業でランダム化比較試験(RCT)を行った。 学習結果の大幅な改善,特に文法の増大,学生のエンゲージメントについて検討した。
  論文  参考訳（メタデータ） (2024-09-24T11:22:55Z)
• Interactive Learning in Computer Science Education Supported by a Discord Chatbot [3.0294711465150006]
  DiscordBotを使えば、学生は短い調査を通じてコース活動に対するフィードバックを提供することができる。 出席者追跡もサポートし、開始前に講義を紹介する。 収集したデータは、学生がアクティビティの難しさと期待された結果を正確に知覚できることを示している。
  論文  参考訳（メタデータ） (2024-07-27T14:22:40Z)
• Integrating AI Tutors in a Programming Course [0.0]
  RAGManはLLMベースのチューターシステムで、様々なコース特化および宿題特化AIチューターをサポートする。 本稿では,AI教師とのインタラクション,学生のフィードバック,および比較グレード分析について述べる。
  論文  参考訳（メタデータ） (2024-07-14T00:42:39Z)
• YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
  本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。 モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。 実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
  論文  参考訳（メタデータ） (2024-01-28T14:32:15Z)
• Using Assignment Incentives to Reduce Student Procrastination and Encourage Code Review Interactions [2.1684358357001465]
  この研究は、学生に期限の何日も前に課題を完了するよう促すインセンティブシステムを示す。 完成した課題は、正しさとフィードバックを提供するためにスタッフによってコードレビューされ、結果としてより多くの学生と教師の相互作用がもたらされる。 インセンティブによって学生の行動が変化し、45%の割り当てが早期に完了し、期限の4日前まで30%が完了した。
  論文  参考訳（メタデータ） (2023-11-25T22:17:40Z)
• MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems [74.73881579517055]
  そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。 このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-23T21:44:56Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• From {Solution Synthesis} to {Student Attempt Synthesis} for Block-Based Visual Programming Tasks [20.64766977405438]
  以下に示す課題を中心に、新しいベンチマークであるSeardSynを紹介する。 学生は,一定基準課題に対する生徒の試行を観察した後,新たな目標課題に対する学生の試行を合成する。 この課題は、プログラム合成の課題に似ているが、解法(すなわち、専門家が書くプログラム)の代わりに、ここでのゴールは、学生の試み(すなわち、ある学生が書くであろうプログラム)を合成することである。
  論文  参考訳（メタデータ） (2022-05-03T01:32:47Z)
• TecCoBot: Technology-aided support for self-regulated learning [52.77024349608834]
  自己学習活動は、学習成果の達成への活動の程度と自己学習活動の貢献を高めることができる。 特に世界的なパンデミックの時代には、学生が既に技術強化された材料、プロセス、デジタルプラットフォームを使っている家庭で、自己学習活動がますます活発に行われている。
  論文  参考訳（メタデータ） (2021-11-23T13:50:21Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Using Machine Learning to Predict Engineering Technology Students' Success with Computer Aided Design [50.591267188664666]
  機械学習技術と組み合わせたデータによって、特定の学生がデザインタスクでどれだけうまく機能するかを予測する方法を示す。 初期設計シーケンスアクションを用いたモデルは,特に予測に有用であることが判明した。 これらのモデルをさらに改善することで、事前の予測が得られ、学生のフィードバックがより早く得られるようになり、学習が向上する可能性がある。
  論文  参考訳（メタデータ） (2021-08-12T20:24:54Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。