論文の概要: How Far Can We Go with Practical Function-Level Program Repair?
- arxiv url: http://arxiv.org/abs/2404.12833v1
- Date: Fri, 19 Apr 2024 12:14:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 15:07:01.810905
- Title: How Far Can We Go with Practical Function-Level Program Repair?
- Title(参考訳): 関数レベルプログラムの実際の修復はどこまでできるのか?
- Authors: Jiahong Xiang, Xiaoyang Xu, Fanchu Kong, Mingyuan Wu, Haotian Zhang, Yuqun Zhang,
- Abstract要約: 本稿では,少数ショット学習機構と補修関連情報が機能レベルAPRに及ぼす影響について検討する。
補修関連情報のパワーを活用するために,デュアルLLM フレームワークを採用した LLM ベースの関数レベル APR 手法,すなわち SRepair を提案する。
- 参考スコア(独自算出の注目度): 12.195137917098041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, multiple Automated Program Repair (APR) techniques based on Large Language Models (LLMs) have been proposed to enhance the repair performance. While these techniques mainly focus on the single-line or hunk-level repair, they face significant challenges in real-world application due to the limited repair task scope and costly statement-level fault localization. However, the more practical function-level APR, which broadens the scope of APR task to fix entire buggy functions and requires only cost-efficient function-level fault localization, remains underexplored. In this paper, we conduct the first comprehensive study of LLM-based function-level APR including investigating the effect of the few-shot learning mechanism and the auxiliary repair-relevant information. Specifically, we adopt six widely-studied LLMs and construct a benchmark in both the Defects4J 1.2 and 2.0 datasets. Our study demonstrates that LLMs with zero-shot learning are already powerful function-level APR techniques, while applying the few-shot learning mechanism leads to disparate repair performance. Moreover, we find that directly applying the auxiliary repair-relevant information to LLMs significantly increases function-level repair performance. Inspired by our findings, we propose an LLM-based function-level APR technique, namely SRepair, which adopts a dual-LLM framework to leverage the power of the auxiliary repair-relevant information for advancing the repair performance. The evaluation results demonstrate that SRepair can correctly fix 300 single-function bugs in the Defects4J dataset, largely surpassing all previous APR techniques by at least 85%, without the need for the costly statement-level fault location information. Furthermore, SRepair successfully fixes 32 multi-function bugs in the Defects4J dataset, which is the first time achieved by any APR technique ever to our best knowledge.
- Abstract(参考訳): 近年,Large Language Models (LLMs) に基づくAPR(Automated Program repair)技術が提案されている。
これらの技術は主に単一ラインやハンクレベルの修復に重点を置いているが、修復作業の範囲が限られており、ステートメントレベルのフォールトローカライゼーションがコストのかかるため、現実のアプリケーションでは重大な課題に直面している。
しかし、より実用的な機能レベルのAPRは、バグギー関数全体を修正するためのAPRタスクの範囲を広げ、コスト効率のよい機能レベルの障害ローカライゼーションのみを必要とするが、まだ未定である。
本稿では,LLMに基づく機能レベルAPRの総合的研究を行い,この学習機構と補修関連情報の影響について検討する。
具体的には、広く研究されている6つのLCMを採用し、Defects4J 1.2と2.0のデータセットでベンチマークを構築します。
本研究は, ゼロショット学習を用いたLLMが機能レベルのAPR技術としてすでに強力であることを示すとともに, 少数ショット学習機構を適用したことにより, 補修性能を異にすることを示した。
さらに, 補修関連情報をLCMに直接適用することで, 機能レベルの補修性能が著しく向上することがわかった。
本研究は,LLMに基づく機能レベルAPR手法であるSRepairを提案し,補修関連情報を利用して補修性能を向上させる手法を提案する。
評価結果は、SRepairがDefects4Jデータセットの300の単一機能バグを正しく修正できることを示した。
さらに、SRepairはDefects4Jデータセットの32の多機能バグの修正に成功した。
関連論文リスト
- Multi-Objective Fine-Tuning for Enhanced Program Repair with LLMs [16.890411067079885]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて顕著な機能を示した。
プログラム修復のためのLLMファインチューニングの学習焦点に関する新しい視点を提案する。
我々はMORepairを、サイズやアーキテクチャの異なる4つのオープンソースLCMの微調整に応用する。
論文 参考訳(メタデータ) (2024-04-19T05:36:21Z) - An Empirical Evaluation of Pre-trained Large Language Models for Repairing Declarative Formal Specifications [5.395614997568524]
本稿では,アロイの宣言的仕様を修復するためのLarge Language Models (LLMs) の能力について,体系的に検討する。
本稿では, 補修エージェントとプロンプトエージェントを組み合わせた, 二重エージェントLLMフレームワークを統合した新しい補修パイプラインを提案する。
本研究は, LLM, 特に GPT-4 変種が, 実行時およびトークン使用率の限界が増大しているにもかかわらず, 修復効率において既存の技術よりも優れていたことを明らかにした。
論文 参考訳(メタデータ) (2024-04-17T03:46:38Z) - Aligning LLMs for FL-free Program Repair [14.935596175148586]
本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。
我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。
この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
論文 参考訳(メタデータ) (2024-04-13T02:36:40Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - A Closer Look at the Limitations of Instruction Tuning [54.565210478164104]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。
また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。
この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
論文 参考訳(メタデータ) (2024-02-03T04:45:25Z) - The Right Prompts for the Job: Repair Code-Review Defects with Large
Language Model [15.885824575879763]
自動プログラム修復(APR)技術は、コードレビュー(CR)プロセス中にプログラム欠陥を発見して修復する手作業を減らす可能性がある。
しかし、既存のAPRアプローチにまつわる限られた精度とかなりの時間的コストは、産業的な実践において採用を妨げている。
近年のLLM(Large Language Models)の進歩により、自然言語やプログラミング言語を理解する能力が向上し、レビューコメントに基づいたパッチの生成が可能になった。
論文 参考訳(メタデータ) (2023-12-29T06:12:15Z) - RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for
Program Repair [9.352266103476046]
本稿では,APRのコード表現と,LoRAと呼ばれるパラメータ効率の高いLLM微調整技術を組み合わせたプログラム修復手法を提案する。
この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的なプログラム修復アダプタを作成した。
全体として、Re repairLLaMAは125のDefects4J v2と82のHumanEval-Javaバグを正しく修正し、すべてのベースラインを上回っている。
論文 参考訳(メタデータ) (2023-12-25T11:39:46Z) - RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。
既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。
本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
論文 参考訳(メタデータ) (2023-10-02T17:16:26Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳(メタデータ) (2023-08-06T18:38:52Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。