論文の概要: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
- arxiv url: http://arxiv.org/abs/2312.15698v4
- Date: Fri, 7 Jun 2024 13:21:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 20:27:03.007643
- Title: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
- Title（参考訳）: repairLLaMA: プログラム修復のための効率的な表現と微調整アダプタ
- Authors: André Silva, Sen Fang, Martin Monperrus,
- Abstract要約: そこで我々は,APRの最適なコード表現を微調整モデルで識別する新しいプログラム修復手法であるRe repairLLaMAを提案する。
これにより、AIでバグを修正するのに非常に効果的なプログラム修復アダプタが提供される。
全体として、Re repairLLaMAは144のDefects4J v2と109のHumanEval-Javaバグを正しく修正し、すべてのベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 8.321263361036808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated Program Repair (APR) has evolved significantly with the advent of Large Language Models (LLMs). Fine-tuning LLMs for program repair is a recent avenue of research, with many dimensions which have not been explored. Existing work mostly fine-tune LLMs with naive code representations and does not scale to frontier models. To address this problem, we propose RepairLLaMA, a novel program repair approach that 1) identifies optimal code representations for APR with fine-tuned models, and 2) pioneers state-of-the-art parameter-efficient fine-tuning technique (PEFT) for program repair. This results in RepairLLaMA producing a highly effective `program repair adapter' for fixing bugs with AI. Our experiments demonstrate the validity of both concepts. First, fine-tuning adapters with program repair specific code representations enables the model to use meaningful repair signals and produce better patches. Second, parameter-efficient fine-tuning helps fine-tuning to converge and clearly contributes to the effectiveness of RepairLLaMA in fixing bugs outside the fine-tuning data distribution. Overall, RepairLLaMA correctly fixes 144 Defects4J v2 and 109 HumanEval-Java bugs, outperforming all baselines.
- Abstract（参考訳）: APR(Automated Program repair)は、LLM(Large Language Models)の出現によって大きく進化したプログラムである。
プログラム修復のための微調整LDMは最近の研究の道であり、多くの次元がまだ探索されていない。
既存の作業は、コード表現が単純で、フロンティアモデルにスケールしない、微調整のLLMがほとんどです。
この問題に対処するため,我々は新しいプログラム修復手法であるRe repairLLaMAを提案する。
1)微調整モデルを用いてAPRの最適なコード表現を同定し,
2) プログラム修復のためのPEFT(State-of-the-art parameter- efficient fine-tuning technique)のパイオニアである。
これにより、修正LLaMAは、AIでバグを修正するのに非常に効果的な'プログラム修復アダプタ'を生成する。
両概念の妥当性を示す実験を行った。
まず、プログラムの修正固有のコード表現を備えた微調整アダプタにより、意味のある修復信号を使用し、より良いパッチを生成することができる。
第二に、パラメータ効率の良い微調整は微調整の収束に役立ち、微調整データ配布の外部でバグを修正する際の補修LLaMAの有効性に明らかに寄与する。
全体として、Re repairLLaMAは144のDefects4J v2と109のHumanEval-Javaバグを正しく修正し、すべてのベースラインを上回っている。
関連論文リスト
- On The Effectiveness of Dynamic Reduction Techniques in Automated Program Repair [1.7767466724342067]
本稿では,大規模バグ修正プログラムを効果的に処理するプログラム修復フレームワークについて述べる。
このフレームワークは、プログラムスライシングの形式でプログラムの削減を利用して、修正中のバグとは無関係にコードの一部を除去する。
広く使用されているDefects4Jデータセットに対する実験結果から,修復品質の劣化を伴わずに,大幅な性能向上が達成できることが判明した。
論文 参考訳（メタデータ） (2024-06-23T21:35:07Z) - Hybrid Automated Program Repair by Combining Large Language Models and Program Analysis [12.7034916462208]
自動プログラム修復(APR)は、人間の開発者のバグ修正プロセスを合理化する可能性から、大きな注目を集めている。
本稿ではGIANTREPAIRと呼ばれる革新的なAPR手法を紹介する。
この知見に基づいて、GIANTREPAIRはまず、LLM生成したパッチからパッチスケルトンを構築して、パッチ空間を閉じ込め、その後、特定のプログラムに適した高品質なパッチを生成する。
論文 参考訳（メタデータ） (2024-06-03T05:05:12Z) - Multi-Objective Fine-Tuning for Enhanced Program Repair with LLMs [16.890411067079885]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて顕著な機能を示した。
プログラム修復のためのLLMファインチューニングの学習焦点に関する新しい視点を提案する。
我々はMORepairを、サイズやアーキテクチャの異なる4つのオープンソースLCMの微調整に応用する。
論文 参考訳（メタデータ） (2024-04-19T05:36:21Z) - A Deep Dive into Large Language Models for Automated Bug Localization and Repair [12.756202755547024]
大規模言語モデル(LLM)は、自動プログラム修復(APR)など、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。
本研究では,LSMを用いた自動バグ修正について深く検討する。
異なるLLMを用いてバグの局所化と修正を分離することにより、多様なコンテキスト情報の効果的な統合が可能になる。
Toggleは、CodeXGLUEコード改善ベンチマークで、新しい最先端(SOTA)パフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-04-17T17:48:18Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T22:36:31Z) - Enhancing Redundancy-based Automated Program Repair by Fine-grained
Pattern Mining [18.3896381051331]
本稿では,効果的なパッチ生成を導くための2段階のパターンマイニングプロセスを含むRepattという新しい修復手法を提案する。
我々は広く使われているDefects4Jベンチマークの実験を行い、Repattを8つの最先端のAPRアプローチと比較した。
論文 参考訳（メタデータ） (2023-12-26T08:42:32Z) - AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-12T14:27:59Z) - Lyra: Orchestrating Dual Correction in Automated Theorem Proving [65.48893396979807]
Lyraは新しいフレームワークで、ツール補正とConjecture Correctionという2つの異なる補正メカニズムを採用している。
ツール補正は幻覚の緩和に寄与し、それによって証明の全体的な精度が向上する。
Conjecture Correctionは命令で生成を洗練させるが、ペア化された(生成、エラー、改善)プロンプトは収集しない。
論文 参考訳（メタデータ） (2023-09-27T17:29:41Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳（メタデータ） (2023-09-12T08:52:56Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳（メタデータ） (2023-06-16T15:13:17Z) - Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。
次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。
オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文 参考訳（メタデータ） (2020-05-20T07:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。