論文の概要: Explaining Code with a Purpose: An Integrated Approach for Developing
Code Comprehension and Prompting Skills
- arxiv url: http://arxiv.org/abs/2403.06050v1
- Date: Sun, 10 Mar 2024 00:23:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 09:01:10.520699
- Title: Explaining Code with a Purpose: An Integrated Approach for Developing
Code Comprehension and Prompting Skills
- Title(参考訳): 目的を持ったコード記述: コード理解とプロンプトスキル開発のための統合的アプローチ
- Authors: Paul Denny and David H. Smith IV and Max Fowler and James Prather and
Brett A. Becker and Juho Leinonen
- Abstract要約: 我々は,EePE質問に対する学生の回答に基づいて,LLMを用いてコードを生成することを提案する。
我々は,EePEの問題解決に有効なプロンプトの作成に学生が成功したことを報告した。
- 参考スコア(独自算出の注目度): 4.776920192249936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reading, understanding and explaining code have traditionally been important
skills for novices learning programming. As large language models (LLMs) become
prevalent, these foundational skills are more important than ever given the
increasing need to understand and evaluate model-generated code. Brand new
skills are also needed, such as the ability to formulate clear prompts that can
elicit intended code from an LLM. Thus, there is great interest in integrating
pedagogical approaches for the development of both traditional coding
competencies and the novel skills required to interact with LLMs. One effective
way to develop and assess code comprehension ability is with ``Explain in plain
English'' (EiPE) questions, where students succinctly explain the purpose of a
fragment of code. However, grading EiPE questions has always been difficult
given the subjective nature of evaluating written explanations and this has
stifled their uptake. In this paper, we explore a natural synergy between EiPE
questions and code-generating LLMs to overcome this limitation. We propose
using an LLM to generate code based on students' responses to EiPE questions --
not only enabling EiPE responses to be assessed automatically, but helping
students develop essential code comprehension and prompt crafting skills in
parallel. We investigate this idea in an introductory programming course and
report student success in creating effective prompts for solving EiPE
questions. We also examine student perceptions of this activity and how it
influences their views on the use of LLMs for aiding and assessing learning.
- Abstract(参考訳): プログラミングを学ぶ初心者にとって、コードの読み書き、理解、説明は伝統的に重要なスキルだった。
大きな言語モデル(LLM)が普及するにつれて、モデル生成コードを理解して評価する必要性が高まっているため、これらの基礎的なスキルはこれまで以上に重要である。
LLMから意図したコードを引き出すことができる明確なプロンプトを定式化する機能など、新しいスキルも必要である。
したがって、従来のコーディング能力とLLMと対話するために必要な新しいスキルの両方を開発するための教育的アプローチの統合に大きな関心がある。
コード理解能力を開発し評価する効果的な方法の1つは、学生が簡潔にコードの断片の目的を説明する「'explain in plain english'」という質問である。
しかし,説明書を主観的に評価するという主観的な性質から,固有質問の採点は常に困難であり,その理解を阻害している。
本稿では,この制限を克服するために,EePE質問とコード生成LLMの自然な相乗効果について検討する。
我々は,学生のEePE質問に対する回答に基づいて,LLMを用いてコードを生成することを提案する。
我々は、このアイデアを入門プログラミングコースで検討し、EePEの課題を解決する効果的なプロンプトを作成する学生の成功を報告した。
また,この活動に対する学生の認識と,学習支援と評価のためのLLMの使用に対する学生の見解への影響についても検討した。
関連論文リスト
- Analyzing LLM Usage in an Advanced Computing Class in India [1.6612806983579371]
既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。
本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
論文 参考訳(メタデータ) (2024-04-06T12:06:56Z) - Automate Knowledge Concept Tagging on Math Questions with LLMs [48.5585921817745]
知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。
伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。
本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
論文 参考訳(メタデータ) (2024-03-26T00:09:38Z) - A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
論文 参考訳(メタデータ) (2024-03-11T03:42:03Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - When LLMs Meet Cunning Questions: A Fallacy Understanding Benchmark for
Large Language Models [62.42534500424585]
本稿では,人間が理解し易いが,理解し難い質問を含むファラッキー理解ベンチマークを提案する。
具体的には、FLUBが焦点を当てている不気味な質問は、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招く質問から成り立っている。
LLMの誤り理解能力を評価するために,FLUBベンチマークの難易度を高める3つのタスクを設計する。
論文 参考訳(メタデータ) (2024-02-16T22:12:53Z) - Code Generation Based Grading: Evaluating an Auto-grading Mechanism for
"Explain-in-Plain-English" Questions [0.0]
コード生成ベースグラディング(CGBG)は、人間の学年と適度に合意する。
CGBGは、コードの低レベルおよびライン・バイ・ライン記述に関して、人間のグレードラーと適度に合意する。
論文 参考訳(メタデータ) (2023-11-25T02:45:00Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - Promptly: Using Prompt Problems to Teach Learners How to Effectively
Utilize AI Code Generators [5.458849730200646]
本稿では,「プロンプト問題」として知られる新しい教育概念を紹介する。
プロンプト問題(英: Prompt Problem)は、学生が自然言語のプロンプトを作成し、LLMが特定の問題に対して正しいコードを生成するよう促す問題である。
Promptlyを初年度のPythonプログラミングコースに導入したフィールドスタディから経験的知見を報告する。
論文 参考訳(メタデータ) (2023-07-31T01:46:42Z) - Comparing Code Explanations Created by Students and Large Language
Models [4.526618922750769]
コードについて推論し、その目的を説明することは、コンピュータ科学者にとって基本的なスキルである。
可能なすべてのインプットに対してコードがどのように振る舞うかを、高いレベルの抽象化で記述する能力は、コード記述スキルと強く相関する。
既存の教育的なアプローチは、要求に応じてコード説明を作成するなど、コードを説明する能力を足場に置いていますが、現在、大規模な教室ではうまくスケールしていません。
論文 参考訳(メタデータ) (2023-04-08T06:52:54Z) - Knowledgeable Salient Span Mask for Enhancing Language Models as
Knowledge Base [51.55027623439027]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳(メタデータ) (2022-04-17T12:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。