論文の概要: Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models
- arxiv url: http://arxiv.org/abs/2308.11873v2
- Date: Mon, 16 Oct 2023 03:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 03:49:34.202609
- Title: Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models
- Title(参考訳): Dcc --help: 大規模言語モデルによるコンテキスト対応コンパイラエラー記述の生成
- Authors: Andrew Taylor and Alexandra Vassar and Jake Renzella and Hammond
Pearce
- Abstract要約: dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
- 参考スコア(独自算出の注目度): 53.04357141450459
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the challenging field of introductory programming, high enrollments and
failure rates drive us to explore tools and systems to enhance student
outcomes, especially automated tools that scale to large cohorts. This paper
presents and evaluates the dcc --help tool, an integration of a Large Language
Model (LLM) into the Debugging C Compiler (DCC) to generate unique,
novice-focused explanations tailored to each error. dcc --help prompts an LLM
with contextual information of compile- and run-time error occurrences,
including the source code, error location and standard compiler error message.
The LLM is instructed to generate novice-focused, actionable error explanations
and guidance, designed to help students understand and resolve problems without
providing solutions. dcc --help was deployed to our CS1 and CS2 courses, with
2,565 students using the tool over 64,000 times in ten weeks. We analysed a
subset of these error/explanation pairs to evaluate their properties, including
conceptual correctness, relevancy, and overall quality. We found that the
LLM-generated explanations were conceptually accurate in 90% of compile-time
and 75% of run-time cases, but often disregarded the instruction not to provide
solutions in code. Our findings, observations and reflections following
deployment indicate that dcc-help provides novel opportunities for scaffolding
students' introduction to programming.
- Abstract(参考訳): 導入プログラミングの難しい分野では、高い参加率と失敗率によって、学生の成果を高めるためのツールやシステム、特に大規模なコホートにスケールする自動化ツールが探求されることになります。
本稿では,debugging cコンパイラ (dcc) への大規模言語モデル (llm) の統合により,各エラーに合わせたユニークな初心者向け説明を生成する dcc --help tool を提案し,評価する。
dcc --help は、ソースコード、エラー位置、標準コンパイラエラーメッセージを含むコンパイル時および実行時のエラー発生のコンテキスト情報を持つ LLM をプロンプトする。
LLMは初心者向けで行動可能なエラー説明とガイダンスを生成するよう指示されており、ソリューションを提供することなく、生徒が問題の理解と解決を支援するように設計されている。
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
我々はこれらの誤り/説明ペアのサブセットを分析し、概念的正当性、関連性、全体的な品質など、それらの特性を評価した。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
本研究は,dcc-helpが学生のプログラミング導入に新たな機会をもたらすことを示すものである。
関連論文リスト
- Patterns of Student Help-Seeking When Using a Large Language
Model-Powered Programming Assistant [2.5949084781328744]
本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。
私たちは学期を通して2500以上の質問を学生から集めました。
しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
論文 参考訳(メタデータ) (2023-10-25T20:36:05Z) - How Helpful do Novice Programmers Find the Feedback of an Automated
Repair Tool? [1.2990666399718034]
自動修復ツールであるCLARAを使って初心者にフィードバックを提供する経験について述べる。
まず、私たちはCLARAを拡張してPython言語のより大きなサブセットをサポートし、それからプログラミング演習に使用するJupyter Notebooksと統合しました。
初心者は、しばしば、提案された修復を理解するのに苦労し、コンパイラ/解釈メッセージを理解するのがよく知られた課題であることがわかった。
論文 参考訳(メタデータ) (2023-10-02T07:45:56Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - CodeHelp: Using Large Language Models with Guardrails for Scalable
Support in Programming Classes [2.5949084781328744]
大規模言語モデル(LLM)が最近登場し、大規模なオンデマンドヘルプの提供を約束している。
CodeHelpは、ガードレールで設計された新しいLLMツールで、直接ソリューションを公開することなく、プログラミングの学生にオンデマンドで支援を提供する。
以上の結果から,CodeHelpは特に有効性を高く評価し,誤りの解消に寄与する学生に好意的に受け入れられていることが示唆された。
論文 参考訳(メタデータ) (2023-08-14T03:52:24Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-06-04T17:02:59Z) - Better patching using LLM prompting, via Self-Consistency [5.892272127970584]
自己整合性(Self-Consistency, S-C)は、問題の説明を生成する上で、エキサイティングで極めて優れたテクニックである。
本稿では,修正作業のコミットログを説明として,S-C手法のプログラム修復への応用について述べる。
我々は,MODITデータセット上で,プログラムの修正を促そうとする従来のアプローチを破って,最先端の成果を得た。
論文 参考訳(メタデータ) (2023-05-31T18:28:46Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning
of Large Language Models [78.65241926912663]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:51:52Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - SYNFIX: Automatically Fixing Syntax Errors using Compiler Diagnostics [0.0]
生徒は、構文エラーに対処する際の自動修正提案によって助けられ、インストラクターの時間を節約できる。
最新技術を大幅に向上させる機械学習ベースのツールであるSYNFIXを紹介します。
私たちはSYNFIXを無償のVisual Studio Codeのオープンソースバージョンに作りました。すべてのソースコードとモデルを自由に利用できるようにしています。
論文 参考訳(メタデータ) (2021-04-29T21:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。