論文の概要: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
- arxiv url: http://arxiv.org/abs/2312.15698v5
- Date: Sat, 14 Dec 2024 20:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:53:05.493912
- Title: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
- Title（参考訳）: repairLLaMA: プログラム修復のための効率的な表現と微調整アダプタ
- Authors: André Silva, Sen Fang, Martin Monperrus,
- Abstract要約: そこで我々は,APRの最適なコード表現を微調整モデルで識別する新しいプログラム修復手法であるRe repairLLaMAを提案する。
これにより、AIでバグを修正するのに非常に効果的なプログラム修復アダプタが提供される。
全体として、Re repairLLaMAは144のDefects4J v2、109のHumanEval-Java、20のGitBug-Javaバグを正しく修正する。
- 参考スコア（独自算出の注目度）: 8.321263361036808
- License:
- Abstract: Automated Program Repair (APR) has evolved significantly with the advent of Large Language Models (LLMs). Fine-tuning LLMs for program repair is a recent avenue of research, with many dimensions which have not been explored. Existing work mostly fine-tune LLMs with naive code representations and does not scale to frontier models. To address this problem, we propose RepairLLaMA, a novel program repair approach that 1) identifies optimal code representations for APR with fine-tuned models, and 2) pioneers state-of-the-art parameter-efficient fine-tuning technique (PEFT) for program repair. This results in RepairLLaMA producing a highly effective `program repair adapter' for fixing bugs with AI. Our experiments demonstrate the validity of both concepts. First, fine-tuning adapters with program repair specific code representations enables the model to use meaningful repair signals and produce better patches. Second, parameter-efficient fine-tuning helps fine-tuning to converge and clearly contributes to the effectiveness of RepairLLaMA in fixing bugs outside the fine-tuning data distribution. Overall, RepairLLaMA correctly fixes 144 Defects4J v2, 109 HumanEval-Java, and 20 GitBug-Java bugs, outperforming all baselines.
- Abstract（参考訳）: APR(Automated Program repair)は、LLM(Large Language Models)の出現によって大きく進化したプログラムである。
プログラム修復のための微調整LDMは最近の研究の道であり、多くの次元がまだ探索されていない。
既存の作業は、コード表現が単純で、フロンティアモデルにスケールしない、微調整のLLMがほとんどです。
この問題に対処するため,我々は新しいプログラム修復手法であるRe repairLLaMAを提案する。
1)微調整モデルを用いてAPRの最適なコード表現を同定し,
2) プログラム修復のためのPEFT(State-of-the-art parameter- efficient fine-tuning technique)のパイオニアである。
これにより、修正LLaMAは、AIでバグを修正するのに非常に効果的な'プログラム修復アダプタ'を生成する。
両概念の妥当性を示す実験を行った。
まず、プログラムの修正固有のコード表現を備えた微調整アダプタにより、意味のある修復信号を使用し、より良いパッチを生成することができる。
第二に、パラメータ効率の良い微調整は微調整の収束に役立ち、微調整データ配布の外部でバグを修正する際の補修LLaMAの有効性に明らかに寄与する。
全体として、Re repairLLaMAは144のDefects4J v2、109のHumanEval-Java、20のGitBug-Javaバグを正しく修正し、すべてのベースラインを上回っている。
関連論文リスト
- FastFixer: An Efficient and Effective Approach for Repairing Programming Assignments [21.848112758958543]
本稿では,FastFixerを提案する。
まず,必要なパッチと関連するコンテキストを生成する方法を学ぶことへのLLMの関心を高めることを目的とした,修復指向のファインチューニング戦略を提案する。
修復効率を考慮すると、FastFixerは自動回帰復号アルゴリズムと比較して16.67倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-10-11T10:17:02Z) - Repairs in a Block World: A New Benchmark for Handling User Corrections with Multi-Modal Language Models [48.42142115255159]
命令追従操作タスクにおけるマルチモーダルなTPRシーケンスのデータセットであるBlockWorld-Repairsをリリースする。
現状のビジョンと言語モデル(VLM)を複数の設定で評価し,TPRの処理能力と正確な応答性に着目した。
以上の結果から,これらのモデルはまだマルチモーダル・コラボレーティブ・セッティングにデプロイする準備が整っていないことが示唆された。
論文 参考訳（メタデータ） (2024-09-21T21:06:25Z) - The Impact of Program Reduction on Automated Program Repair [0.3277163122167433]
本稿では,現代のAPRツールのスケーラビリティ向上を目的としたプログラム修復手法について述べる。
本研究では,スライシングが修復プロセスの3つの段階,すなわち障害局所化,パッチ生成,パッチ検証に与える影響について検討する。
プログラムの削減は修理品質を劣化させることなくAPRの性能を向上させることができるが、この改善は普遍的ではない。
論文 参考訳（メタデータ） (2024-08-02T09:23:45Z) - On The Effectiveness of Dynamic Reduction Techniques in Automated Program Repair [1.7767466724342067]
本稿では,大規模バグ修正プログラムを効果的に処理するプログラム修復フレームワークについて述べる。
このフレームワークは、プログラムスライシングの形式でプログラムの削減を利用して、修正中のバグとは無関係にコードの一部を除去する。
広く使用されているDefects4Jデータセットに対する実験結果から,修復品質の劣化を伴わずに,大幅な性能向上が達成できることが判明した。
論文 参考訳（メタデータ） (2024-06-23T21:35:07Z) - Multi-Objective Fine-Tuning for Enhanced Program Repair with LLMs [16.890411067079885]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて顕著な機能を示した。
プログラム修復のためのLLMファインチューニングの学習焦点に関する新しい視点を提案する。
我々はMORepairを、サイズやアーキテクチャの異なる4つのオープンソースLCMの微調整に応用する。
論文 参考訳（メタデータ） (2024-04-19T05:36:21Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T22:36:31Z) - Enhancing Redundancy-based Automated Program Repair by Fine-grained
Pattern Mining [18.3896381051331]
本稿では,効果的なパッチ生成を導くための2段階のパターンマイニングプロセスを含むRepattという新しい修復手法を提案する。
我々は広く使われているDefects4Jベンチマークの実験を行い、Repattを8つの最先端のAPRアプローチと比較した。
論文 参考訳（メタデータ） (2023-12-26T08:42:32Z) - Lyra: Orchestrating Dual Correction in Automated Theorem Proving [63.115422781158934]
Lyraは新しいフレームワークで、ツール補正とConjecture Correctionという2つの異なる補正メカニズムを採用している。
ツール補正は幻覚の緩和に寄与し、それによって証明の全体的な精度が向上する。
Conjecture Correctionは命令で生成を洗練させるが、ペア化された(生成、エラー、改善)プロンプトは収集しない。
論文 参考訳（メタデータ） (2023-09-27T17:29:41Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳（メタデータ） (2023-09-12T08:52:56Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳（メタデータ） (2023-06-16T15:13:17Z) - Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。
次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。
オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文 参考訳（メタデータ） (2020-05-20T07:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。