論文の概要: Addressing Compiler Errors: Stack Overflow or Large Language Models?

• arxiv url: http://arxiv.org/abs/2307.10793v1
• Date: Thu, 20 Jul 2023 11:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 17:04:22.570336
• Title: Addressing Compiler Errors: Stack Overflow or Large Language Models?
• Title（参考訳）: コンパイラエラーに対処する - スタックオーバーフローか,あるいは大規模言語モデルか?
• Authors: Patricia Widjojo and Christoph Treude
• Abstract要約: 本研究では,コンパイラエラーに遭遇するプログラマに対して,最も効果的なアプローチを決定するために,3つのソースからの100個のコンパイラエラーメッセージを体系的に検討する。 その結果、GPT-4は、コンパイラエラーメッセージの説明においてStack Overflowよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 10.222207222039048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compiler error messages serve as an initial resource for programmers dealing with compilation errors. However, previous studies indicate that they often lack sufficient targeted information to resolve code issues. Consequently, programmers typically rely on their own research to fix errors. Historically, Stack Overflow has been the primary resource for such information, but recent advances in large language models offer alternatives. This study systematically examines 100 compiler error messages from three sources to determine the most effective approach for programmers encountering compiler errors. Factors considered include Stack Overflow search methods and the impact of model version and prompt phrasing when using large language models. The results reveal that GPT-4 outperforms Stack Overflow in explaining compiler error messages, the effectiveness of adding code snippets to Stack Overflow searches depends on the search method, and results for Stack Overflow differ significantly between Google and StackExchange API searches. Furthermore, GPT-4 surpasses GPT-3.5, with "How to fix" prompts yielding superior outcomes to "What does this error mean" prompts. These results offer valuable guidance for programmers seeking assistance with compiler error messages, underscoring the transformative potential of advanced large language models like GPT-4 in debugging and opening new avenues of exploration for researchers in AI-assisted programming.
• Abstract（参考訳）: コンパイラエラーメッセージは、コンパイルエラーを扱うプログラマの初期リソースとして機能する。 しかし、以前の研究では、コード問題を解決するのに十分なターゲット情報がないことがしばしば示されている。 その結果、プログラマは通常、エラーを修正するために独自の研究に依存します。 歴史的に、stack overflowはそのような情報の主要なリソースであったが、近年の大規模言語モデルの進歩は代替手段を提供している。 本研究では,コンパイラエラーに遭遇するプログラマにとって最も効果的なアプローチを決定するために,3つのソースからの100個のコンパイラエラーメッセージを体系的に検討する。 検討された要因には、Stack Overflow検索方法やモデルバージョンの影響、大規模言語モデルを使用する場合の迅速な表現などがある。 GPT-4は、コンパイラエラーメッセージの説明において、Stack Overflowよりも優れており、Stack Overflow検索にコードスニペットを追加する効果は、検索方法によって異なり、Stack Overflowの結果はGoogleとStackExchange APIの検索とは大きく異なる。 さらに、GPT-4 は GPT-3.5 を超え、"How to fix" は "What do this error mean" に優れた結果をもたらす。 これらの結果は、コンパイラエラーメッセージの支援、GPT-4のような先進的な大規模言語モデルのデバッグやAI支援プログラミングの研究者のための新たな探究の道を開く可能性について、プログラマに貴重なガイダンスを提供する。

関連論文リスト

• Not the Silver Bullet: LLM-enhanced Programming Error Messages are Ineffective in Practice [1.106787864231365]
  GPT-4が生成したエラーメッセージは6つのタスクのうち1つで従来のコンパイラエラーメッセージよりも優れていた。 GPT-4が生成したエラーメッセージは6つのタスクのうち1つに過ぎず,従来のコンパイラエラーメッセージよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-27T11:45:56Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• VDebugger: Harnessing Execution Feedback for Debugging Visual Programs [103.61860743476933]
  V Debuggerは、視覚プログラムのローカライズとデバッギングのために、段階的に実行を追跡することで訓練された、批評家とリファインダーのフレームワークである。 Vデバッガは、詳細な実行フィードバックを活用してプログラムエラーを特定し、修正する。 6つのデータセットの評価は、Vデバッガの有効性を示し、ダウンストリームタスクの精度が最大3.2%向上したことを示している。
  論文  参考訳（メタデータ） (2024-06-19T11:09:16Z)
• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• Leveraging Print Debugging to Improve Code Generation in Large Language Models [63.63160583432348]
  大規模言語モデル(LLM)はコード生成タスクにおいて大きな進歩を遂げた。 しかし、複雑なデータ構造やアルゴリズムによるプログラミング問題に対処する彼らのパフォーマンスは、依然として準最適である。 そこで本稿では,LLM のデバッグを "print debugging" 手法でガイドする,コンテキスト内学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-10T18:37:59Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• Which is a better programming assistant? A comparative study between chatgpt and stack overflow [10.861651344753591]
  プログラマの生産性を向上させるために,Stack OverflowとChatGPTのパフォーマンスを比較した。 コード品質に関しては、ChatGPTがStack Overflowをはるかに上回り、アルゴリズムやライブラリ関連のタスクの完全化を支援している。 プログラミング支援における2つのプラットフォーム間の相違したパフォーマンスの背景にある理由を明らかにする。
  論文  参考訳（メタデータ） (2023-08-26T11:25:18Z)
• What Causes Exceptions in Machine Learning Applications? Mining Machine Learning-Related Stack Traces on Stack Overflow [6.09414932258309]
  Stack Overflow上で7つの人気のあるPython MLライブラリに関連する11,449のスタックトレースを調査した。 スタックトレースを含むML質問は、スタックトレースのない質問よりも人気がある。 サブプロセス呼び出し、外部モジュール実行、リモートAPI呼び出しに関連するパターンは、受け入れられる可能性が低い。
  論文  参考訳（メタデータ） (2023-04-25T14:29:07Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Using Large Language Models to Enhance Programming Error Messages [5.903720638984496]
  大規模な言語モデルは、エラーメッセージのプログラミングに有用な拡張を作成するために使用することができる。 我々は,大規模言語モデルの利点と欠点について論じ,プログラムエラーメッセージの強化に向けた今後の研究の流れを浮き彫りにする。
  論文  参考訳（メタデータ） (2022-10-20T23:17:26Z)
• Automated Query Reformulation for Efficient Search based on Query Logs From Stack Overflow [0.0]
  本稿では,ディープラーニングに基づくソフトウェア固有のクエリ再構成手法を提案する。 我々は,クエリとそれに対応するクエリを含む大規模クエリ再構成コーパスを構築した。 提案手法では,ユーザが元のクエリを入力した場合に,候補変更クエリを自動的に生成するトランスフォーマーモデルを訓練する。
  論文  参考訳（メタデータ） (2021-02-01T13:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。