論文の概要: Integrating Various Software Artifacts for Better LLM-based Bug Localization and Program Repair
- arxiv url: http://arxiv.org/abs/2412.03905v1
- Date: Thu, 05 Dec 2024 06:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 14:42:50.239954
- Title: Integrating Various Software Artifacts for Better LLM-based Bug Localization and Program Repair
- Title(参考訳): LLMベースのバグローカライゼーションとプログラム修復のための各種ソフトウェアアーティファクトの統合
- Authors: Qiong Feng, Xiaotian Ma, Jiayi Sheng, Ziyuan Feng, Wei Song, Peng Liang,
- Abstract要約: 本稿では,問題コンテンツ(記述とメッセージ)とスタックエラートレースを用いてバグギーメソッドをローカライズするDevLoReを提案する。
異なるアーティファクトを組み込むことで、DevLoReはシングルとノンシングルのバグギーメソッドの49.3%と47.6%をうまく見つけることができた。
これは現在の最先端のAPRメソッドよりも優れています。
- 参考スコア(独自算出の注目度): 2.9176578730256733
- License:
- Abstract: LLMs have garnered considerable attention for their potential to streamline Automated Program Repair (APR). LLM-based approaches can either insert the correct code or directly generate patches when provided with buggy methods. However, most of LLM-based APR methods rely on a single type of software information, without fully leveraging different software artifacts. Despite this, many LLM-based approaches do not explore which specific types of information best assist in APR. Addressing this gap is crucial for advancing LLM-based APR techniques. We propose DEVLoRe to use issue content (description and message) and stack error traces to localize buggy methods, then rely on debug information in buggy methods and issue content and stack error to localize buggy lines and generate plausible patches which can pass all unit tests. The results show that while issue content is particularly effective in assisting LLMs with fault localization and program repair, different types of software artifacts complement each other. By incorporating different artifacts, DEVLoRe successfully locates 49.3% and 47.6% of single and non-single buggy methods and generates 56.0% and 14.5% plausible patches for the Defects4J v2.0 dataset, respectively. This outperforms current state-of-the-art APR methods. The source code and experimental results of this work for replication are available at https://github.com/XYZboom/DEVLoRe.
- Abstract(参考訳): LLMは、自動プログラム修復(APR)の合理化の可能性にかなりの注意を払っている。
LLMベースのアプローチでは、バグのあるメソッドが提供されると、正しいコードを挿入するか、パッチを直接生成することができる。
しかし、LLMベースのAPR手法のほとんどは、異なるソフトウェアアーティファクトを完全に活用することなく、単一のタイプのソフトウェア情報に依存している。
それにもかかわらず、多くのLLMベースのアプローチでは、APRにおいてどの特定の情報が最も役立つかを探索しない。
このギャップに対処することは、LLMベースのAPR技術の進歩に不可欠である。
問題コンテンツ(記述とメッセージ)とスタックエラートレースを使用してバグギーメソッドをローカライズし、バグギーメソッドのデバッグ情報に頼り、バグギーラインをローカライズし、すべてのユニットテストをパス可能なパッチを生成する。
その結果,問題コンテンツは障害局所化とプログラム修復を伴うLCMを支援するのに特に有効であるが,異なる種類のソフトウェアアーティファクトが相互に補完することがわかった。
異なるアーティファクトを組み込むことで、DevLoReは単一および非単一バグギー手法の49.3%と47.6%をうまく見つけることができ、Defects4J v2.0データセットに対してそれぞれ56.0%と14.5%のパッチを生成する。
これは現在の最先端のAPRメソッドよりも優れています。
このレプリケーション作業のソースコードと実験結果はhttps://github.com/XYZboom/DEVLoRe.comで公開されている。
関連論文リスト
- SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。
もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。
SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
論文 参考訳(メタデータ) (2024-11-20T18:56:22Z) - Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。
LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。
以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
論文 参考訳(メタデータ) (2024-09-20T16:47:34Z) - Hybrid Automated Program Repair by Combining Large Language Models and Program Analysis [12.7034916462208]
自動プログラム修復(APR)は、人間の開発者のバグ修正プロセスを合理化する可能性から、大きな注目を集めている。
本稿ではGIANTREPAIRと呼ばれる革新的なAPR手法を紹介する。
この知見に基づいて、GIANTREPAIRはまず、LLM生成したパッチからパッチスケルトンを構築して、パッチ空間を閉じ込め、その後、特定のプログラムに適した高品質なパッチを生成する。
論文 参考訳(メタデータ) (2024-06-03T05:05:12Z) - MEIC: Re-thinking RTL Debug Automation using LLMs [18.964523115622928]
本研究は,新しいフレームワーク,Make each Iteration Count(MEIC)を紹介する。
MEICは、構文と関数のエラーを識別し、修正するのに適している。
フレームワークを評価するため、178の共通RTLプログラミングエラーからなるオープンソースデータセットを提供する。
論文 参考訳(メタデータ) (2024-05-10T22:32:39Z) - Aligning LLMs for FL-free Program Repair [14.935596175148586]
本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。
我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。
この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
論文 参考訳(メタデータ) (2024-04-13T02:36:40Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - Leveraging Print Debugging to Improve Code Generation in Large Language
Models [63.63160583432348]
大規模言語モデル(LLM)はコード生成タスクにおいて大きな進歩を遂げた。
しかし、複雑なデータ構造やアルゴリズムによるプログラミング問題に対処する彼らのパフォーマンスは、依然として準最適である。
そこで本稿では,LLM のデバッグを "print debugging" 手法でガイドする,コンテキスト内学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-10T18:37:59Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳(メタデータ) (2024-01-09T15:46:38Z) - ConDefects: A New Dataset to Address the Data Leakage Concern for
LLM-based Fault Localization and Program Repair [22.342625625700908]
欠陥(Condefects)は、このような重複をなくすために慎重にキュレートされた、真断層の新しいデータセットである。
には1,254のJavaの欠陥プログラムと1,625のPythonの欠陥プログラムが含まれている。
障害位置と対応するコードバージョンとをペアにすることで、障害のローカライゼーションとプログラムの修正関連研究に適したものにします。
論文 参考訳(メタデータ) (2023-10-25T00:06:02Z) - Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。
LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。
LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文 参考訳(メタデータ) (2023-10-02T17:42:37Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。