論文の概要: CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming
Assistant that Balances Student and Educator Needs
- arxiv url: http://arxiv.org/abs/2401.11314v1
- Date: Sat, 20 Jan 2024 20:14:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 17:08:01.889201
- Title: CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming
Assistant that Balances Student and Educator Needs
- Title(参考訳): CodeAid: 学生と教育者のニーズのバランスをとるLLMベースのプログラミングアシスタントの教室展開の評価
- Authors: Majeed Kazemitabaar, Runlong Ye, Xiaoning Wang, Austin Z. Henley, Paul
Denny, Michelle Craig, Tovi Grossman
- Abstract要約: 我々は,LLMベースのプログラミングアシスタントであるCodeAidを開発した。
例えば、CodeAidは概念的な質問に答え、行ごとの説明で擬似コードを生成し、修正提案で生徒の誤ったコードに注釈を付けることができる。
- 参考スコア(独自算出の注目度): 14.866602418099518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Timely, personalized feedback is essential for students learning programming,
especially as class sizes expand. LLM-based tools like ChatGPT offer instant
support, but reveal direct answers with code, which may hinder deep conceptual
engagement. We developed CodeAid, an LLM-based programming assistant delivering
helpful, technically correct responses, without revealing code solutions. For
example, CodeAid can answer conceptual questions, generate pseudo-code with
line-by-line explanations, and annotate student's incorrect code with fix
suggestions. We deployed CodeAid in a programming class of 700 students for a
12-week semester. A thematic analysis of 8,000 usages of CodeAid was performed,
further enriched by weekly surveys, and 22 student interviews. We then
interviewed eight programming educators to gain further insights on CodeAid.
Findings revealed students primarily used CodeAid for conceptual understanding
and debugging, although a minority tried to obtain direct code. Educators
appreciated CodeAid's educational approach, and expressed concerns about
occasional incorrect feedback and students defaulting to ChatGPT.
- Abstract(参考訳): タイムリーに言えば、プログラミングを学ぶ学生にはパーソナライズされたフィードバックが不可欠だ。
LLMベースのツールであるChatGPTは、インスタントサポートを提供するが、コードによる直接的な回答は、深い概念的エンゲージメントを妨げる可能性がある。
我々は,LLMベースのプログラミングアシスタントであるCodeAidを開発した。
例えば、CodeAidは概念的な質問に答え、行ごとの説明で擬似コードを生成し、修正提案で生徒の誤ったコードに注釈を付けることができる。
私たちは12週間の学期で700人の学生のプログラミングクラスにCodeAidをデプロイしました。
8000のCodeAid使用のテーマ分析を行い、毎週の調査と22名の学生インタビューによりさらに充実させた。
次に8人のプログラミング教育者にインタビューして、CodeAidに関するさらなる洞察を得た。
発見によると、学生は主にCodeAidを使って概念的理解とデバッグを行ったが、少数派は直接コードを取得しようとした。
教育者はCodeAidの教育的アプローチを高く評価し、時に誤ったフィードバックやChatGPTをデフォルトとする学生への懸念を表明した。
関連論文リスト
- Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳(メタデータ) (2024-03-02T20:25:50Z) - CodeTailor: Personalized Parsons Puzzles are Preferred Over AI-Generated
Solutions to Support Learning [7.028077796087939]
生成AIは、ほとんどの導入プログラミング問題に対するソリューションを作成することができる。
学生はコード生成や宿題の完了にこれらのツールを頼りにしてしまうかもしれません。
我々は,大規模言語モデル(LLM)を活用しながら,学生の認知活動を促進するシステムであるCodeTailorを紹介する。
論文 参考訳(メタデータ) (2024-01-22T17:08:54Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [69.99031792995348]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - Students' Perceptions and Preferences of Generative Artificial
Intelligence Feedback for Programming [15.372316943507506]
そこで我々はChatGPT APIを用いて,導入型コンピュータサイエンスクラスにおける4つの実験室割り当てのための自動フィードバックを生成した。
学生は、フィードバックは、Shuteが確立した形式的なフィードバックガイドラインとよく一致していると感じた。
学生は通常、十分なコード例で特定の修正フィードバックを期待していたが、フィードバックのトーンについて意見が分かれていた。
論文 参考訳(メタデータ) (2023-12-17T22:26:53Z) - Students' Perspective on AI Code Completion: Benefits and Challenges [3.1498833540989413]
学生の視点から,AIコード補完のメリット,課題,期待について検討した。
その結果、AIコード補完は、正しい構文提案を提供することで、学生の生産性と効率を向上させることがわかった。
しかし、AIコード補完に対する過度な信頼は、プログラミング概念の表面レベルでの理解につながる可能性がある。
論文 参考訳(メタデータ) (2023-10-31T22:41:16Z) - Exploring the Potential of Large Language Models to Generate Formative
Programming Feedback [0.5371337604556311]
計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。
これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。
その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。
しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
論文 参考訳(メタデータ) (2023-08-31T15:22:11Z) - Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models [53.04357141450459]
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
論文 参考訳(メタデータ) (2023-08-23T02:36:19Z) - Promptly: Using Prompt Problems to Teach Learners How to Effectively
Utilize AI Code Generators [5.458849730200646]
本稿では,「プロンプト問題」として知られる新しい教育概念を紹介する。
プロンプト問題(英: Prompt Problem)は、学生が自然言語のプロンプトを作成し、LLMが特定の問題に対して正しいコードを生成するよう促す問題である。
Promptlyを初年度のPythonプログラミングコースに導入したフィールドスタディから経験的知見を報告する。
論文 参考訳(メタデータ) (2023-07-31T01:46:42Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳(メタデータ) (2022-11-16T10:00:23Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Dive into Deep Learning [119.30375933463156]
この本はJupyterのノートブックでドラフトされており、説明図、数学、インタラクティブな例を自己完結型コードとシームレスに統合している。
私たちのゴールは、(i)誰でも自由に利用できるリソースを提供すること、(ii)応用機械学習科学者になるための出発点を提供するのに十分な技術的な深さを提供すること、(iii)実行可能なコードを含み、実際にどのように問題を解決するかを読者に示すこと、(iv)私たちとコミュニティの両方による迅速なアップデートを可能にすることです。
論文 参考訳(メタデータ) (2021-06-21T18:19:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。