論文の概要: Integrating Large Language Models into the Debugging C Compiler for generating contextual error explanations

• arxiv url: http://arxiv.org/abs/2308.11873v1
• Date: Wed, 23 Aug 2023 02:36:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 16:07:04.604132
• Title: Integrating Large Language Models into the Debugging C Compiler for generating contextual error explanations
• Title（参考訳）: 大規模言語モデルとデバッグCコンパイラの統合によるコンテキストエラー説明の生成
• Authors: Andrew Taylor and Alexandra Vassar and Jake Renzella and Hammond Pearce
• Abstract要約: 本稿では,Large Language Models (LLM) を用いてコンパイラのエラー説明を行う手法を提案する。 コンパイラのエラーメッセージは、初心者がプログラミングの仕方を学ぶための障壁となることが知られていることはよく文書化されている。
• 参考スコア（独自算出の注目度）: 53.04357141450459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a method for Large Language Models (LLM) to produce enhanced compiler error explanations, in simple language, within our Debugging C Compiler (DCC). It is well documented that compiler error messages have been known to present a barrier for novices learning how to program. Although our initial use of DCC in introductory programming (CS1) has been instrumental in teaching C to novice programmers by providing safeguards to commonly occurring errors and translating the usually cryptic compiler error messages at both compile- and run-time, we proposed that incorporating LLM-generated explanations would further enhance the learning experience for novice programmers. Through an expert evaluation, we observed that LLM-generated explanations for compiler errors were conceptually accurate in 90% of compile-time errors, and 75% of run-time errors. Additionally, the new DCC-help tool has been increasingly adopted by students, with an average of 1047 unique runs per week, demonstrating a promising initial assessment of using LLMs to complement compiler output to enhance programming education for beginners. We release our tool as open-source to the community.
• Abstract（参考訳）: 本稿では,デバッギングcコンパイラ(dcc)内で,単純な言語で拡張されたコンパイラエラー説明を生成するための大規模言語モデル(llm)の手法を提案する。 コンパイラエラーメッセージは初心者がプログラミングを学ぶ上で障壁となることが知られている。 導入プログラミング(CS1)におけるDCCの初期使用は、一般的に発生するエラーの回避と、コンパイル時と実行時の両方で通常暗号化されるコンパイラエラーメッセージを翻訳することで、初心者プログラマにCを教えるのに役立っているが、LLM生成の説明を取り入れることで、初心者プログラマの学習体験をさらに向上させることが提案されている。 専門家による評価の結果,コンパイル時エラーの90%,実行時エラーの75%において,LLM生成によるコンパイラエラーの説明が概念的に正確であることがわかった。 さらに、新しいDCC-helpツールは学生によって採用され、週平均で1047回のユニークな実行があり、初心者向けのプログラミング教育を強化するためにコンパイラ出力を補完するためにLLMを使用するという有望な初期評価を示している。 当社のツールをオープンソースとしてコミュニティに公開しています。

関連論文リスト

• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• Not the Silver Bullet: LLM-enhanced Programming Error Messages are Ineffective in Practice [1.106787864231365]
  GPT-4が生成したエラーメッセージは6つのタスクのうち1つで従来のコンパイラエラーメッセージよりも優れていた。 GPT-4が生成したエラーメッセージは6つのタスクのうち1つに過ぎず,従来のコンパイラエラーメッセージよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-27T11:45:56Z)
• Scaling CS1 Support with Compiler-Integrated Conversational AI [43.77796322595561]
  DCC Sidekickは、教育プログラムエラー説明を生成することで、既存のLLMベースのC/C++コンパイラを強化するWebベースのAIツールである。 959名の学生が11,222人のDCC Sidekickセッションに従事し、7週間で17,982件の誤りを報告した。
  論文  参考訳（メタデータ） (2024-07-22T10:53:55Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• LLM-aided explanations of EDA synthesis errors [10.665347817363623]
  大規模言語モデル(LLM)は、テキスト理解と質問応答能力を示している。 我々は,21種類のバグコードサンプル上に3つのOpenAI LLMを用いて,936個のエラーメッセージ説明を生成する。 その結果, 約71%のケースにおいて, LLMは初等学習者に適した正解と完全解法を与えることがわかった。
  論文  参考訳（メタデータ） (2024-04-07T07:12:16Z)
• Patterns of Student Help-Seeking When Using a Large Language Model-Powered Programming Assistant [2.5949084781328744]
  本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。 私たちは学期を通して2500以上の質問を学生から集めました。 しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
  論文  参考訳（メタデータ） (2023-10-25T20:36:05Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• CodeHelp: Using Large Language Models with Guardrails for Scalable Support in Programming Classes [2.5949084781328744]
  大規模言語モデル(LLM)が最近登場し、大規模なオンデマンドヘルプの提供を約束している。 CodeHelpは、ガードレールで設計された新しいLLMツールで、直接ソリューションを公開することなく、プログラミングの学生にオンデマンドで支援を提供する。 以上の結果から,CodeHelpは特に有効性を高く評価し,誤りの解消に寄与する学生に好意的に受け入れられていることが示唆された。
  論文  参考訳（メタデータ） (2023-08-14T03:52:24Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。