論文の概要: Dcc --help: Generating Context-Aware Compiler Error Explanations with Large Language Models

• arxiv url: http://arxiv.org/abs/2308.11873v2
• Date: Mon, 16 Oct 2023 03:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 03:49:34.202609
• Title: Dcc --help: Generating Context-Aware Compiler Error Explanations with Large Language Models
• Title（参考訳）: Dcc --help: 大規模言語モデルによるコンテキスト対応コンパイラエラー記述の生成
• Authors: Andrew Taylor and Alexandra Vassar and Jake Renzella and Hammond Pearce
• Abstract要約: dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。 LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
• 参考スコア（独自算出の注目度）: 53.04357141450459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the challenging field of introductory programming, high enrollments and failure rates drive us to explore tools and systems to enhance student outcomes, especially automated tools that scale to large cohorts. This paper presents and evaluates the dcc --help tool, an integration of a Large Language Model (LLM) into the Debugging C Compiler (DCC) to generate unique, novice-focused explanations tailored to each error. dcc --help prompts an LLM with contextual information of compile- and run-time error occurrences, including the source code, error location and standard compiler error message. The LLM is instructed to generate novice-focused, actionable error explanations and guidance, designed to help students understand and resolve problems without providing solutions. dcc --help was deployed to our CS1 and CS2 courses, with 2,565 students using the tool over 64,000 times in ten weeks. We analysed a subset of these error/explanation pairs to evaluate their properties, including conceptual correctness, relevancy, and overall quality. We found that the LLM-generated explanations were conceptually accurate in 90% of compile-time and 75% of run-time cases, but often disregarded the instruction not to provide solutions in code. Our findings, observations and reflections following deployment indicate that dcc-help provides novel opportunities for scaffolding students' introduction to programming.
• Abstract（参考訳）: 導入プログラミングの難しい分野では、高い参加率と失敗率によって、学生の成果を高めるためのツールやシステム、特に大規模なコホートにスケールする自動化ツールが探求されることになります。 本稿では,debugging cコンパイラ (dcc) への大規模言語モデル (llm) の統合により,各エラーに合わせたユニークな初心者向け説明を生成する dcc --help tool を提案し,評価する。 dcc --help は、ソースコード、エラー位置、標準コンパイラエラーメッセージを含むコンパイル時および実行時のエラー発生のコンテキスト情報を持つ LLM をプロンプトする。 LLMは初心者向けで行動可能なエラー説明とガイダンスを生成するよう指示されており、ソリューションを提供することなく、生徒が問題の理解と解決を支援するように設計されている。 dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。 我々はこれらの誤り/説明ペアのサブセットを分析し、概念的正当性、関連性、全体的な品質など、それらの特性を評価した。 LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。 本研究は,dcc-helpが学生のプログラミング導入に新たな機会をもたらすことを示すものである。

関連論文リスト

• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• Not the Silver Bullet: LLM-enhanced Programming Error Messages are Ineffective in Practice [1.106787864231365]
  GPT-4が生成したエラーメッセージは6つのタスクのうち1つで従来のコンパイラエラーメッセージよりも優れていた。 GPT-4が生成したエラーメッセージは6つのタスクのうち1つに過ぎず,従来のコンパイラエラーメッセージよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-27T11:45:56Z)
• Scaling CS1 Support with Compiler-Integrated Conversational AI [43.77796322595561]
  DCC Sidekickは、教育プログラムエラー説明を生成することで、既存のLLMベースのC/C++コンパイラを強化するWebベースのAIツールである。 959名の学生が11,222人のDCC Sidekickセッションに従事し、7週間で17,982件の誤りを報告した。
  論文  参考訳（メタデータ） (2024-07-22T10:53:55Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• LLM-aided explanations of EDA synthesis errors [10.665347817363623]
  大規模言語モデル(LLM)は、テキスト理解と質問応答能力を示している。 我々は,21種類のバグコードサンプル上に3つのOpenAI LLMを用いて,936個のエラーメッセージ説明を生成する。 その結果, 約71%のケースにおいて, LLMは初等学習者に適した正解と完全解法を与えることがわかった。
  論文  参考訳（メタデータ） (2024-04-07T07:12:16Z)
• Patterns of Student Help-Seeking When Using a Large Language Model-Powered Programming Assistant [2.5949084781328744]
  本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。 私たちは学期を通して2500以上の質問を学生から集めました。 しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
  論文  参考訳（メタデータ） (2023-10-25T20:36:05Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• CodeHelp: Using Large Language Models with Guardrails for Scalable Support in Programming Classes [2.5949084781328744]
  大規模言語モデル(LLM)が最近登場し、大規模なオンデマンドヘルプの提供を約束している。 CodeHelpは、ガードレールで設計された新しいLLMツールで、直接ソリューションを公開することなく、プログラミングの学生にオンデマンドで支援を提供する。 以上の結果から,CodeHelpは特に有効性を高く評価し,誤りの解消に寄与する学生に好意的に受け入れられていることが示唆された。
  論文  参考訳（メタデータ） (2023-08-14T03:52:24Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。