論文の概要: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for
Program Repair
- arxiv url: http://arxiv.org/abs/2312.15698v1
- Date: Mon, 25 Dec 2023 11:39:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 16:53:02.395295
- Title: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for
Program Repair
- Title(参考訳): repairLLaMA: プログラム修復のための効率的な表現と微調整アダプタ
- Authors: Andr\'e Silva, Sen Fang, Martin Monperrus
- Abstract要約: 本稿では,APRのコード表現と,LoRAと呼ばれるパラメータ効率の高いLLM微調整技術を組み合わせたプログラム修復手法を提案する。
この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的なプログラム修復アダプタを作成した。
全体として、Re repairLLaMAは125のDefects4J v2と82のHumanEval-Javaバグを正しく修正し、すべてのベースラインを上回っている。
- 参考スコア(独自算出の注目度): 9.352266103476046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated Program Repair (APR) has evolved significantly with the advent of
Large Language Models (LLMs). Fine-tuning LLMs for program repair is a recent
avenue of research, with many dimensions which have not been explored. Existing
work mostly fine-tunes LLMs with naive code representations and is
fundamentally limited in its ability to fine-tune larger LLMs. To address this
problem, we propose RepairLLaMA, a novel program repair approach that combines
1) code representations for APR and 2) the state-of-the-art parameter-efficient
LLM fine-tuning technique called LoRA. This results in RepairLLaMA producing a
highly effective `program repair adapter' for fixing bugs with language models.
Our experiments demonstrate the validity of both concepts. First, fine-tuning
adapters with program repair specific code representations enables the model to
use meaningful repair signals. Second, parameter-efficient fine-tuning helps
fine-tuning to converge and contributes to the effectiveness of the repair
adapter to fix data-points outside the fine-tuning data distribution. Overall,
RepairLLaMA correctly fixes 125 Defects4J v2 and 82 HumanEval-Java bugs,
outperforming all baselines.
- Abstract(参考訳): APR(Automated Program repair)は、LLM(Large Language Models)の出現によって大きく進化した。
プログラム修復のための微調整LDMは最近の研究の道であり、多くの次元がまだ探索されていない。
既存の作業は、コード表現が単純で、大きなLLMを微調整する能力に基本的に制限がある。
この問題に対処するため,我々は,新しいプログラム修復手法である repairllama を提案する。
1) apr と apr のコード表現
2) LLMファインチューニング技術であるLoRAについて検討した。
この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的な'プログラム修復アダプタ'を作成した。
両概念の妥当性を示す実験を行った。
まず、プログラムの補修固有のコード表現を備えた微調整アダプタにより、意味のある補修信号を使用することができる。
第二に、パラメータ効率の良い微調整は微調整の収束に役立ち、微調整データ分布外のデータポイントを修正するための補修アダプタの有効性に寄与する。
repairLLaMAは、125 Defects4J v2と82 HumanEval-Javaのバグを正しく修正し、すべてのベースラインを上回っている。
関連論文リスト
- How Far Can We Go with Practical Function-Level Program Repair? [12.195137917098041]
本稿では,少数ショット学習機構と補修関連情報が機能レベルAPRに及ぼす影響について検討する。
補修関連情報のパワーを活用するために,デュアルLLM フレームワークを採用した LLM ベースの関数レベル APR 手法,すなわち SRepair を提案する。
論文 参考訳(メタデータ) (2024-04-19T12:14:09Z) - Multi-Objective Fine-Tuning for Enhanced Program Repair with LLMs [16.890411067079885]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて顕著な機能を示した。
プログラム修復のためのLLMファインチューニングの学習焦点に関する新しい視点を提案する。
我々はMORepairを、サイズやアーキテクチャの異なる4つのオープンソースLCMの微調整に応用する。
論文 参考訳(メタデータ) (2024-04-19T05:36:21Z) - A Deep Dive into Large Language Models for Automated Bug Localization and Repair [12.756202755547024]
大規模言語モデル(LLM)は、自動プログラム修復(APR)など、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。
本研究では,LSMを用いた自動バグ修正について深く検討する。
異なるLLMを用いてバグの局所化と修正を分離することにより、多様なコンテキスト情報の効果的な統合が可能になる。
Toggleは、CodeXGLUEコード改善ベンチマークで、新しい最先端(SOTA)パフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-04-17T17:48:18Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。
その動機は量子化と適応の自由の不均衡度にある。
QA-LoRAは数行のコードで簡単に実装できる。
論文 参考訳(メタデータ) (2023-09-26T07:22:23Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳(メタデータ) (2023-09-12T08:52:56Z) - LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of
Large Language Models [75.25782573728677]
本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。
このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。
本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
論文 参考訳(メタデータ) (2023-04-04T16:31:37Z) - Repair Is Nearly Generation: Multilingual Program Repair with LLMs [9.610685299268825]
Codexのようなコード(LLMC)でトレーニングされた大規模言語モデルを利用した多言語修復エンジンであるRingを紹介する。
プログラマが手動でバグを修正する方法からインスピレーションを得て、修復をローカライズ、トランスフォーメーション、候補ランキングとして概念化するプロンプトベースの戦略が、最小限の努力で複数のドメインでのプログラムの修復に成功できることを示す。
論文 参考訳(メタデータ) (2022-08-24T16:25:58Z) - Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。
次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。
オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文 参考訳(メタデータ) (2020-05-20T07:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。