Fugu-MT 論文翻訳(概要): RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair

論文の概要: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair

arxiv url: http://arxiv.org/abs/2312.15698v1
Date: Mon, 25 Dec 2023 11:39:46 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 16:53:02.395295
Title: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
Title（参考訳）: repairLLaMA: プログラム修復のための効率的な表現と微調整アダプタ
Authors: Andr\'e Silva, Sen Fang, Martin Monperrus
Abstract要約: 本稿では,APRのコード表現と,LoRAと呼ばれるパラメータ効率の高いLLM微調整技術を組み合わせたプログラム修復手法を提案する。この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的なプログラム修復アダプタを作成した。全体として、Re repairLLaMAは125のDefects4J v2と82のHumanEval-Javaバグを正しく修正し、すべてのベースラインを上回っている。
参考スコア（独自算出の注目度）: 9.352266103476046
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automated Program Repair (APR) has evolved significantly with the advent of Large Language Models (LLMs). Fine-tuning LLMs for program repair is a recent avenue of research, with many dimensions which have not been explored. Existing work mostly fine-tunes LLMs with naive code representations and is fundamentally limited in its ability to fine-tune larger LLMs. To address this problem, we propose RepairLLaMA, a novel program repair approach that combines 1) code representations for APR and 2) the state-of-the-art parameter-efficient LLM fine-tuning technique called LoRA. This results in RepairLLaMA producing a highly effective `program repair adapter' for fixing bugs with language models. Our experiments demonstrate the validity of both concepts. First, fine-tuning adapters with program repair specific code representations enables the model to use meaningful repair signals. Second, parameter-efficient fine-tuning helps fine-tuning to converge and contributes to the effectiveness of the repair adapter to fix data-points outside the fine-tuning data distribution. Overall, RepairLLaMA correctly fixes 125 Defects4J v2 and 82 HumanEval-Java bugs, outperforming all baselines.
Abstract（参考訳）: APR(Automated Program repair)は、LLM(Large Language Models)の出現によって大きく進化した。プログラム修復のための微調整LDMは最近の研究の道であり、多くの次元がまだ探索されていない。既存の作業は、コード表現が単純で、大きなLLMを微調整する能力に基本的に制限がある。この問題に対処するため,我々は,新しいプログラム修復手法である repairllama を提案する。 1) apr と apr のコード表現 2) LLMファインチューニング技術であるLoRAについて検討した。この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的な'プログラム修復アダプタ'を作成した。両概念の妥当性を示す実験を行った。まず、プログラムの補修固有のコード表現を備えた微調整アダプタにより、意味のある補修信号を使用することができる。第二に、パラメータ効率の良い微調整は微調整の収束に役立ち、微調整データ分布外のデータポイントを修正するための補修アダプタの有効性に寄与する。 repairLLaMAは、125 Defects4J v2と82 HumanEval-Javaのバグを正しく修正し、すべてのベースラインを上回っている。

関連論文リスト

FastFixer: An Efficient and Effective Approach for Repairing Programming Assignments [21.848112758958543]
本稿では,FastFixerを提案する。まず,必要なパッチと関連するコンテキストを生成する方法を学ぶことへのLLMの関心を高めることを目的とした,修復指向のファインチューニング戦略を提案する。修復効率を考慮すると、FastFixerは自動回帰復号アルゴリズムと比較して16.67倍の高速化を実現している。
論文参考訳（メタデータ） (2024-10-11T10:17:02Z)
Repairs in a Block World: A New Benchmark for Handling User Corrections with Multi-Modal Language Models [48.42142115255159]
命令追従操作タスクにおけるマルチモーダルなTPRシーケンスのデータセットであるBlockWorld-Repairsをリリースする。現状のビジョンと言語モデル(VLM)を複数の設定で評価し,TPRの処理能力と正確な応答性に着目した。以上の結果から,これらのモデルはまだマルチモーダル・コラボレーティブ・セッティングにデプロイする準備が整っていないことが示唆された。
論文参考訳（メタデータ） (2024-09-21T21:06:25Z)
The Impact of Program Reduction on Automated Program Repair [0.3277163122167433]
本稿では,現代のAPRツールのスケーラビリティ向上を目的としたプログラム修復手法について述べる。本研究では,スライシングが修復プロセスの3つの段階,すなわち障害局所化,パッチ生成,パッチ検証に与える影響について検討する。プログラムの削減は修理品質を劣化させることなくAPRの性能を向上させることができるが、この改善は普遍的ではない。
論文参考訳（メタデータ） (2024-08-02T09:23:45Z)
On The Effectiveness of Dynamic Reduction Techniques in Automated Program Repair [1.7767466724342067]
本稿では,大規模バグ修正プログラムを効果的に処理するプログラム修復フレームワークについて述べる。このフレームワークは、プログラムスライシングの形式でプログラムの削減を利用して、修正中のバグとは無関係にコードの一部を除去する。広く使用されているDefects4Jデータセットに対する実験結果から,修復品質の劣化を伴わずに,大幅な性能向上が達成できることが判明した。
論文参考訳（メタデータ） (2024-06-23T21:35:07Z)
Multi-Objective Fine-Tuning for Enhanced Program Repair with LLMs [16.890411067079885]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて顕著な機能を示した。プログラム修復のためのLLMファインチューニングの学習焦点に関する新しい視点を提案する。我々はMORepairを、サイズやアーキテクチャの異なる4つのオープンソースLCMの微調整に応用する。
論文参考訳（メタデータ） (2024-04-19T05:36:21Z)
A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文参考訳（メタデータ） (2024-01-15T22:36:31Z)
Enhancing Redundancy-based Automated Program Repair by Fine-grained Pattern Mining [18.3896381051331]
本稿では,効果的なパッチ生成を導くための2段階のパターンマイニングプロセスを含むRepattという新しい修復手法を提案する。我々は広く使われているDefects4Jベンチマークの実験を行い、Repattを8つの最先端のAPRアプローチと比較した。
論文参考訳（メタデータ） (2023-12-26T08:42:32Z)
Lyra: Orchestrating Dual Correction in Automated Theorem Proving [63.115422781158934]
Lyraは新しいフレームワークで、ツール補正とConjecture Correctionという2つの異なる補正メカニズムを採用している。ツール補正は幻覚の緩和に寄与し、それによって証明の全体的な精度が向上する。 Conjecture Correctionは命令で生成を洗練させるが、ペア化された(生成、エラー、改善)プロンプトは収集しない。
論文参考訳（メタデータ） (2023-09-27T17:29:41Z)
RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文参考訳（メタデータ） (2023-09-12T08:52:56Z)
Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文参考訳（メタデータ） (2023-06-16T15:13:17Z)
Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文参考訳（メタデータ） (2020-05-20T07:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。