論文の概要: Promptly: Using Prompt Problems to Teach Learners How to Effectively
Utilize AI Code Generators
- arxiv url: http://arxiv.org/abs/2307.16364v1
- Date: Mon, 31 Jul 2023 01:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:10:13.450171
- Title: Promptly: Using Prompt Problems to Teach Learners How to Effectively
Utilize AI Code Generators
- Title（参考訳）: Promptly:AIコードジェネレータを効果的に活用する方法を学ぶためのプロンプト問題
- Authors: Paul Denny and Juho Leinonen and James Prather and Andrew
Luxton-Reilly and Thezyrie Amarouche and Brett A. Becker and Brent N. Reeves
- Abstract要約: 本稿では,「プロンプト問題」として知られる新しい教育概念を紹介する。
プロンプト問題(英: Prompt Problem)は、学生が自然言語のプロンプトを作成し、LLMが特定の問題に対して正しいコードを生成するよう促す問題である。
Promptlyを初年度のPythonプログラミングコースに導入したフィールドスタディから経験的知見を報告する。
- 参考スコア（独自算出の注目度）: 5.458849730200646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With their remarkable ability to generate code, large language models (LLMs)
are a transformative technology for computing education practice. They have
created an urgent need for educators to rethink pedagogical approaches and
teaching strategies for newly emerging skill sets. Traditional approaches to
learning programming have focused on frequent and repeated practice at writing
code. The ease with which code can now be generated has resulted in a shift in
focus towards reading, understanding and evaluating LLM-generated code. In
parallel with this shift, a new essential skill is emerging -- the ability to
construct good prompts for code-generating models. This paper introduces a
novel pedagogical concept known as a `Prompt Problem', designed to help
students learn how to craft effective prompts for LLMs. A Prompt Problem
challenges a student to create a natural language prompt that leads an LLM to
produce the correct code for a specific problem. To support the delivery of
Prompt Problems at scale, in this paper we also present a novel tool called
Promptly which hosts a repository of Prompt Problems and automates the
evaluation of prompt-generated code. We report empirical findings from a field
study in which Promptly was deployed in a first-year Python programming course
(n=54). We explore student interactions with the tool and their perceptions of
the Prompt Problem concept. We found that Promptly was largely well-received by
students for its ability to engage their computational thinking skills and
expose them to new programming constructs. We also discuss avenues for future
work, including variations on the design of Prompt Problems and the need to
study their integration into the curriculum and teaching practice.
- Abstract（参考訳）: コードを生成する素晴らしい能力によって、大規模言語モデル(LLM)は、コンピューティング教育実践のための革新的技術である。
彼らは、教育者が新しいスキルセットのための教育的アプローチと教育戦略を再考する緊急の要求を生み出した。
プログラミングを学ぶ伝統的なアプローチは、コードの書き方における頻繁で反復的な実践に焦点を合わせてきた。
コード生成が容易になったことで、LLM生成コードを読み、理解し、評価することに注力するようになった。
このシフトと並行して、コード生成モデルの優れたプロンプトを構築する能力という、新たな必須スキルが生まれています。
本稿では,LLMのための効果的なプロンプトの作り方を学ぶために,'Prompt Problem'と呼ばれる新しい教育概念を紹介する。
プロンプト問題は、llmが特定の問題に対して正しいコードを生成するように導く自然言語プロンプトを作成するよう学生に求めるものである。
本稿では,プロンプト問題のレポジトリをホストし,プロンプト生成コードの評価を自動化したpromplyという新しいツールを提案する。
我々は,最初の1年間のpythonプログラミングコース(n=54)に迅速にデプロイされたフィールド研究から得られた経験的知見を報告する。
本研究は,プロンプト問題の概念に対する認識とツールとの学生のインタラクションについて検討する。
Promptlyは、学生がコンピュータ思考のスキルを身につけ、新しいプログラミング構造に公開する能力についてよく理解されていることがわかった。
また,プロンプト問題の設計のバリエーションや,カリキュラムや教育実践への統合について検討する必要性など,今後の作業への道筋についても論じる。
関連論文リスト
- BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。
より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。
4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-10-05T09:27:52Z) - Integrating Natural Language Prompting Tasks in Introductory Programming Courses [3.907735250728617]
本報告では、導入プログラミングコースに2つのプロンプトに焦点を当てたアクティビティを組み込むことについて検討する。
第一に、学生は自然言語のプロンプトを書き、構文上の問題解決を強調することで、計算問題を解く必要がある。
2つ目は、プロンプトとコードの関係を理解するために、提供されたフラグメントに相当するコードを生成するプロンプトを作成することである。
論文 参考訳（メタデータ） (2024-10-04T01:03:25Z) - Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。
算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。
強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
論文 参考訳（メタデータ） (2024-06-19T23:30:01Z) - Let's Ask AI About Their Programs: Exploring ChatGPT's Answers To Program Comprehension Questions [2.377308748205625]
我々は,LLMが生成したコードから生成されたQLCに応答する,最先端のLCMの能力について検討する。
この結果から,現在最先端のLCMではプログラム作成やプログラム実行の追跡が可能であるが,初心者プログラマが記録した類似のエラーに容易に対応できることが示唆された。
論文 参考訳（メタデータ） (2024-04-17T20:37:00Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - Explaining Code with a Purpose: An Integrated Approach for Developing
Code Comprehension and Prompting Skills [4.776920192249936]
我々は,EePE質問に対する学生の回答に基づいて,LLMを用いてコードを生成することを提案する。
我々は,EePEの問題解決に有効なプロンプトの作成に学生が成功したことを報告した。
論文 参考訳（メタデータ） (2024-03-10T00:23:08Z) - CodeTailor: LLM-Powered Personalized Parsons Puzzles for Engaging Support While Learning Programming [6.43344619836303]
生成AIは、ほとんどのイントロレベルのプログラミング問題に対するソリューションを作成することができる。
学生はこれらのツールを使って、コードを生成するだけで、エンゲージメントが減り、学習が制限される。
学生にパーソナライズされた支援を提供するために,大規模言語モデル(LLM)を活用するシステムであるCodeTailorを紹介する。
論文 参考訳（メタデータ） (2024-01-22T17:08:54Z) - Interactions with Prompt Problems: A New Way to Teach Programming with
Large Language Models [4.1599514827277355]
本稿では,プロンプト問題を用いてプログラミングを教える新しい方法を提案する。
学生は視覚的に問題を受け取り、どのように入力を出力に変換するかを示し、それをLLMが解読するプロンプトに変換する必要がある。
この問題は、学生プロンプトによって生成されたコードが全てのテストケースをパスできる場合、正しいと考えられる。
論文 参考訳（メタデータ） (2024-01-19T15:32:46Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Dive into Deep Learning [119.30375933463156]
この本はJupyterのノートブックでドラフトされており、説明図、数学、インタラクティブな例を自己完結型コードとシームレスに統合している。
私たちのゴールは、(i)誰でも自由に利用できるリソースを提供すること、(ii)応用機械学習科学者になるための出発点を提供するのに十分な技術的な深さを提供すること、(iii)実行可能なコードを含み、実際にどのように問題を解決するかを読者に示すこと、(iv)私たちとコミュニティの両方による迅速なアップデートを可能にすることです。
論文 参考訳（メタデータ） (2021-06-21T18:19:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。