論文の概要: DebugBench: Evaluating Debugging Capability of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.04621v3
• Date: Thu, 6 Jun 2024 06:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:10:18.237317
• Title: DebugBench: Evaluating Debugging Capability of Large Language Models
• Title（参考訳）: DebugBench: 大規模言語モデルのデバッグ機能を評価する
• Authors: Runchu Tian, Yining Ye, Yujia Qin, Xin Cong, Yankai Lin, Yinxu Pan, Yesai Wu, Haotian Hui, Weichuan Liu, Zhiyuan Liu, Maosong Sun,
• Abstract要約: DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
• 参考スコア（独自算出の注目度）: 80.73121177868357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated exceptional coding capability. However, as another critical component of programming proficiency, the debugging capability of LLMs remains relatively unexplored. Previous evaluations of LLMs' debugging ability are significantly limited by the risk of data leakage, the scale of the dataset, and the variety of tested bugs. To overcome these deficiencies, we introduce `DebugBench', an LLM debugging benchmark consisting of 4,253 instances. It covers four major bug categories and 18 minor types in C++, Java, and Python. To construct DebugBench, we collect code snippets from the LeetCode community, implant bugs into source data with GPT-4, and assure rigorous quality checks. We evaluate two commercial and four open-source models in a zero-shot scenario. We find that (1) while closed-source models exhibit inferior debugging performance compared to humans, open-source models relatively lower pass rate scores; (2) the complexity of debugging notably fluctuates depending on the bug category; (3) incorporating runtime feedback has a clear impact on debugging performance which is not always helpful. As an extension, we also compare LLM debugging and code generation, revealing a strong correlation between them for closed-source models. These findings will benefit the development of LLMs in debugging.
• Abstract（参考訳）: LLM(Large Language Models)は、例外的なコーディング能力を示す。 しかし、プログラミング能力のもう一つの重要な要素として、LLMのデバッグ能力はいまだに未解明のままである。 LLMのデバッグ能力のこれまでの評価は、データ漏洩のリスク、データセットのスケール、さまざまなテストバグによって大幅に制限されている。 これらの欠陥を克服するために,4,253インスタンスからなるLLMデバッグベンチマークである‘DebugBench’を紹介した。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 DebugBenchを構築するために、LeetCodeコミュニティからコードスニペットを収集し、GPT-4でバグをソースデータに埋め込んで、厳格な品質チェックを保証します。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。 その結果,(1)クローズドソースモデルでは人に比べてデバッグ性能が劣る一方,(2)パスレートスコアが比較的低いこと,(2)デバッグの複雑さがバグカテゴリによって顕著に変動していること,(3)実行時のフィードバックがデバッグ性能に与える影響は必ずしも有用ではないこと,などが判明した。 拡張として、LLMデバッグとコード生成を比較し、クローズドソースモデルに対するそれらの相関関係を強く明らかにする。 これらの発見は、デバッグにおけるLLMの開発に役立つだろう。

関連論文リスト

• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• MR-BEN: A Comprehensive Meta-Reasoning Benchmark for Large Language Models [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 メタ推論スキルを必要とするプロセスベースのベンチマークを提案する。 MR-BENは、人間の専門家から収集された5,975の質問からなる総合的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Leveraging Print Debugging to Improve Code Generation in Large Language Models [63.63160583432348]
  大規模言語モデル(LLM)はコード生成タスクにおいて大きな進歩を遂げた。 しかし、複雑なデータ構造やアルゴリズムによるプログラミング問題に対処する彼らのパフォーマンスは、依然として準最適である。 そこで本稿では,LLM のデバッグを "print debugging" 手法でガイドする,コンテキスト内学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-10T18:37:59Z)
• Language Models are Better Bug Detector Through Code-Pair Classification [0.26107298043931204]
  本稿では,バグギー版とバグギー版の両方をモデルに付与するコードペア分類タスクを提案し,バグギー版とバグギー版を識別する。 実験によると、LLMはバグのないバージョンのコードからバグを拾うことができ、コードペアの分類タスクはスニペットを与え、バグが存在するかどうかを判断するよりもずっと簡単である。
  論文  参考訳（メタデータ） (2023-11-14T07:20:57Z)
• Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
  大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。 提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
  論文  参考訳（メタデータ） (2023-11-08T08:42:30Z)
• The GitHub Recent Bugs Dataset for Evaluating LLM-based Debugging Applications [20.339673903885483]
  大規模言語モデル(LLM)は、強力な自然言語処理とコード合成機能を示している。 LLMのトレーニングデータの詳細は公開されていないことが多く、既存のバグベンチマークが含まれているかどうかが懸念されている。 このデータセットには、OpenAIデータカットオフポイント後に収集された76の現実世界のJavaバグが含まれている。
  論文  参考訳（メタデータ） (2023-10-20T02:37:44Z)
• Isolating Compiler Bugs by Generating Effective Witness Programs with Large Language Models [10.660543763757518]
  既存のコンパイラのバグ分離アプローチは、問題をテストプログラムの突然変異問題に変換する。 コンパイラのバグ分離のための効率的なテストプログラムを生成するために,LLM4CBIという新しい手法を提案する。 GCCとLLVMの120以上の実際のバグに対する最先端のアプローチと比較し,LLM4CBIの利点を実証した。
  論文  参考訳（メタデータ） (2023-07-02T15:20:54Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。