論文の概要: CodeHelp: Using Large Language Models with Guardrails for Scalable
Support in Programming Classes
- arxiv url: http://arxiv.org/abs/2308.06921v1
- Date: Mon, 14 Aug 2023 03:52:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 14:37:02.575706
- Title: CodeHelp: Using Large Language Models with Guardrails for Scalable
Support in Programming Classes
- Title（参考訳）: CodeHelp: 大規模言語モデルとガードレールを使ってプログラミングクラスをスケーラブルにサポート
- Authors: Mark Liffiton, Brad Sheese, Jaromir Savelka, Paul Denny
- Abstract要約: 大規模言語モデル(LLM)が最近登場し、大規模なオンデマンドヘルプの提供を約束している。
CodeHelpは、ガードレールで設計された新しいLLMツールで、直接ソリューションを公開することなく、プログラミングの学生にオンデマンドで支援を提供する。
以上の結果から,CodeHelpは特に有効性を高く評価し,誤りの解消に寄与する学生に好意的に受け入れられていることが示唆された。
- 参考スコア（独自算出の注目度）: 2.5949084781328744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computing educators face significant challenges in providing timely support
to students, especially in large class settings. Large language models (LLMs)
have emerged recently and show great promise for providing on-demand help at a
large scale, but there are concerns that students may over-rely on the outputs
produced by these models. In this paper, we introduce CodeHelp, a novel
LLM-powered tool designed with guardrails to provide on-demand assistance to
programming students without directly revealing solutions. We detail the design
of the tool, which incorporates a number of useful features for instructors,
and elaborate on the pipeline of prompting strategies we use to ensure
generated outputs are suitable for students. To evaluate CodeHelp, we deployed
it in a first-year computer and data science course with 52 students and
collected student interactions over a 12-week period. We examine students'
usage patterns and perceptions of the tool, and we report reflections from the
course instructor and a series of recommendations for classroom use. Our
findings suggest that CodeHelp is well-received by students who especially
value its availability and help with resolving errors, and that for instructors
it is easy to deploy and complements, rather than replaces, the support that
they provide to students.
- Abstract（参考訳）: コンピュータ教育者は、特に大きなクラスの環境において、学生にタイムリーなサポートを提供する上で大きな課題に直面している。
大規模言語モデル(LLM)が最近登場し、大規模にオンデマンドヘルプを提供するという大きな期待を示しているが、学生がこれらのモデルが生み出すアウトプットに過度に頼っているのではないかという懸念がある。
本稿では,保護レールを用いた新しいLLMツールであるCodeHelpについて紹介する。
インストラクターに有用な機能を多数備えたツールの設計について詳述し、生成したアウトプットが学生に相応しいことを確実にするために使用する戦略のパイプラインについて詳述する。
CodeHelpを評価するために,52名の学生による1年間のコンピュータとデータサイエンスコースに導入し,12週間にわたって学生のインタラクションを収集した。
学生のツール使用パターンと認識について検討し,授業指導要領からのリフレクションと教室利用に関する一連の勧告を報告する。
以上の結果から,codehelpは,その可用性を特に重視し,エラー解決を支援する学生に好意的に評価されていること,インストラクタにとって,学生に提供されるサポートを置き換えるよりも,容易にデプロイし補完できることが示唆された。
関連論文リスト
- Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳（メタデータ） (2024-07-12T10:11:40Z) - Representational Alignment Supports Effective Machine Teaching [81.19197059407121]
我々は,機械教育の知見と実践的なコミュニケーションを,表現的アライメントに関する文献と統合する。
教師の精度から表現的アライメントを遠ざける教師付き学習環境を設計する。
論文 参考訳（メタデータ） (2024-06-06T17:48:24Z) - Desirable Characteristics for AI Teaching Assistants in Programming Education [2.9131215715703385]
デジタル教育アシスタントは、即時かつ公平なラウンド・ザ・クロックのサポートを提供する、魅力的でスケーラブルな方法として登場した。
この結果から,学生はこのようなツールを,即時かつ活発な支援を提供する能力に重きを置いていることが明らかとなった。
彼らはまた、学習ジャーニーにおける自律性を維持する機能への強い好意を表明した。
論文 参考訳（メタデータ） (2024-05-23T05:03:49Z) - A Picture Is Worth a Thousand Words: Exploring Diagram and Video-Based
OOP Exercises to Counter LLM Over-Reliance [2.1490831374964587]
大規模言語モデル(LLM)は、テキストベースの仕様で、より複雑なオブジェクト指向プログラミング(OOP)の課題を効果的に解決することができる。
これは、学生がこれらのモデルを使って非倫理的に課題を完了させるため、学術的完全性に対する懸念を提起する。
本稿では,OOP の授業において,学生の課題解決を奨励し,学生をコピー・アンド・プロンプト・アプローチから遠ざける方法として,図表やビデオを用いてOOP タスクを定式化する革新的な手法を提案する。
論文 参考訳（メタデータ） (2024-03-13T10:21:29Z) - CLOVA: A Closed-Loop Visual Assistant with Tool Usage and Update [69.59482029810198]
CLOVAは、推論、リフレクション、学習フェーズを含むフレームワーク内で動作するクローズドループビジュアルアシスタントである。
その結果,CLOVAは既存のツール利用手法を5%,知識タグ付けでは10%,画像編集では20%,視覚的質問応答や複数画像推論では5%に上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-18T03:34:07Z) - Patterns of Student Help-Seeking When Using a Large Language
Model-Powered Programming Assistant [2.5949084781328744]
本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。
私たちは学期を通して2500以上の質問を学生から集めました。
しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
論文 参考訳（メタデータ） (2023-10-25T20:36:05Z) - Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models [53.04357141450459]
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
論文 参考訳（メタデータ） (2023-08-23T02:36:19Z) - A large language model-assisted education tool to provide feedback on
open-ended responses [2.624902795082451]
本稿では,大規模言語モデル (LLM) をインストラクター定義基準でガイドし,オープンエンド質問に対する応答を自動化するツールを提案する。
本ツールでは,素早いパーソナライズされたフィードバックを提供することで,学生が知識を迅速にテストし,改善すべき領域を特定できる。
論文 参考訳（メタデータ） (2023-07-25T19:49:55Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - Demonstrating REACT: a Real-time Educational AI-powered Classroom Tool [0.9899017174990579]
本稿では,教育者の意思決定プロセスを支援するために,EDM技術を用いたリアルタイムAIを活用した新しい教室ツールを提案する。
ReACTは、ユーザフレンドリなグラフィカルインターフェースを備えたデータ駆動ツールである。
学生のパフォーマンスデータを分析し、コンテキストベースのアラートとコースプランニングのための教育者へのレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-30T03:09:59Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。