論文の概要: Debugging Without Error Messages: How LLM Prompting Strategy Affects Programming Error Explanation Effectiveness

• arxiv url: http://arxiv.org/abs/2501.05706v1
• Date: Fri, 10 Jan 2025 04:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:49.842925
• Title: Debugging Without Error Messages: How LLM Prompting Strategy Affects Programming Error Explanation Effectiveness
• Title（参考訳）: エラーメッセージのないデバッグ: LLMのプロンプト戦略がエラー説明の有効性にどのように影響するか
• Authors: Audrey Salmon, Katie Hammer, Eddie Antonio Santos, Brett A. Becker,
• Abstract要約: GPT-3.5は,ソースコード自体の誤り説明のため,どのように誘導されるかを示す。 本報告では, 誤り説明がフィードバックにどの程度有効であるかを, ベースラインで報告する。
• 参考スコア（独自算出の注目度）: 0.9014547127329643
• License:
• Abstract: Making errors is part of the programming process -- even for the most seasoned professionals. Novices in particular are bound to make many errors while learning. It is well known that traditional (compiler/interpreter) programming error messages have been less than helpful for many novices and can have effects such as being frustrating, containing confusing jargon, and being downright misleading. Recent work has found that large language models (LLMs) can generate excellent error explanations, but that the effectiveness of these error messages heavily depends on whether the LLM has been provided with context -- typically the original source code where the problem occurred. Knowing that programming error messages can be misleading and/or contain that serves little-to-no use (particularly for novices) we explore the reverse: what happens when GPT-3.5 is prompted for error explanations on just the erroneous source code itself -- original compiler/interpreter produced error message excluded. We utilized various strategies to make more effective error explanations, including one-shot prompting and fine-tuning. We report the baseline results of how effective the error explanations are at providing feedback, as well as how various prompting strategies might improve the explanations' effectiveness. Our results can help educators by understanding how LLMs respond to such prompts that novices are bound to make, and hopefully lead to more effective use of Generative AI in the classroom.
• Abstract（参考訳）: エラーはプログラミングプロセスの一部だ – 最も経験豊富なプロフェッショナルでも。特に初心者は、学習中に多くのエラーを犯すことが義務付けられている。従来の(コンパイラ/インタプリタ)プログラミングエラーメッセージは、多くの初心者にとって役に立たず、フラストレーション、混乱したジャーゴンを含むこと、誤った誤解を招くことなどの影響があることはよく知られている。最近の研究で、大きな言語モデル(LLM)が優れたエラー説明を生成できることがわかったが、これらのエラーメッセージの有効性は、典型的には、問題が発生した元のソースコードであるLLMが提供されるかどうかに大きく依存している。 プログラミングエラーメッセージが誤解を招く可能性があること、そして(特に初心者のために)ほとんど役に立たないものを含んでいることを知りながら、逆を探索する。 我々は、一発のプロンプトや微調整など、より効果的なエラー説明を行うために、様々な戦略を利用した。 本報告では, 誤り説明がフィードバックの提供にどの程度有効か, および, 様々な促進策が説明の有効性をいかに改善するかについて報告する。 我々の結果は、LLMが初心者が作らなければならないようなプロンプトにどのように反応するかを理解することで教育者を助けることができ、できれば教室でジェネレーティブAIをより効果的に活用できるだろう。

関連論文リスト

• BugSpotter: Automated Generation of Code Debugging Exercises [22.204802715829615]
  本稿では,問題記述からバグコードを生成するツールであるBugSpotterを紹介する。 学生は失敗するテストケースを設計することでBugSpotterと対話する。
  論文  参考訳（メタデータ） (2024-11-21T16:56:33Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Not the Silver Bullet: LLM-enhanced Programming Error Messages are Ineffective in Practice [1.106787864231365]
  GPT-4が生成したエラーメッセージは6つのタスクのうち1つで従来のコンパイラエラーメッセージよりも優れていた。 GPT-4が生成したエラーメッセージは6つのタスクのうち1つに過ぎず,従来のコンパイラエラーメッセージよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-27T11:45:56Z)
• Rectifier: Code Translation with Corrector via LLMs [11.38401806203093]
  本稿では,翻訳誤りを修復するマイクロ・ユニバーサルモデルであるRectifierを提案する。 C++,Java,Python間の翻訳タスクの実験結果から,本モデルが有効な修復能力を有することが示された。
  論文  参考訳（メタデータ） (2024-07-10T08:58:41Z)
• Improving LLM Classification of Logical Errors by Integrating Error Relationship into Prompts [1.7095867620640115]
  プログラミング教育の重要な側面は、エラーメッセージの理解と処理である。 プログラムがプログラマの意図に反して動作している「論理エラー」は、コンパイラからエラーメッセージを受け取らない。 そこで本研究では,LLMを用いた論理的誤り検出手法を提案し,この手法を用いて,Chain-of-ThoughtとTree-of-Thoughtのプロンプトのエラータイプ間の関係を推定する。
  論文  参考訳（メタデータ） (2024-04-30T08:03:22Z)
• Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
  CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。 意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:16:05Z)
• Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
  大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。 この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
  論文  参考訳（メタデータ） (2023-10-31T17:52:22Z)
• Knowledge-Augmented Language Model Verification [68.6099592486075]
  最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。 本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。 その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
  論文  参考訳（メタデータ） (2023-10-19T15:40:00Z)
• Dcc --help: Generating Context-Aware Compiler Error Explanations with Large Language Models [53.04357141450459]
  dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。 LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
  論文  参考訳（メタデータ） (2023-08-23T02:36:19Z)
• Using Large Language Models to Enhance Programming Error Messages [5.903720638984496]
  大規模な言語モデルは、エラーメッセージのプログラミングに有用な拡張を作成するために使用することができる。 我々は,大規模言語モデルの利点と欠点について論じ,プログラムエラーメッセージの強化に向けた今後の研究の流れを浮き彫りにする。
  論文  参考訳（メタデータ） (2022-10-20T23:17:26Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。