論文の概要: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair

• arxiv url: http://arxiv.org/abs/2312.15698v2
• Date: Mon, 26 Feb 2024 12:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-27 18:48:50.435296
• Title: RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
• Title（参考訳）: repairLLaMA: プログラム修復のための効率的な表現と微調整アダプタ
• Authors: Andr\'e Silva, Sen Fang, Martin Monperrus
• Abstract要約: 本稿では,APRのコード表現と,LoRAと呼ばれるパラメータ効率の高いLLM微調整技術を組み合わせたプログラム修復手法を提案する。 この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的なプログラム修復アダプタを作成した。 全体として、Re repairLLaMAは125のDefects4J v2と82のHumanEval-Javaバグを正しく修正し、すべてのベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 9.352266103476046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated Program Repair (APR) has evolved significantly with the advent of Large Language Models (LLMs). Fine-tuning LLMs for program repair is a recent avenue of research, with many dimensions which have not been explored. Existing work mostly fine-tunes LLMs with naive code representations and is fundamentally limited in its ability to fine-tune larger LLMs. To address this problem, we propose RepairLLaMA, a novel program repair approach that combines 1) code representations for APR and 2) the state-of-the-art parameter-efficient LLM fine-tuning technique called LoRA. This results in RepairLLaMA producing a highly effective `program repair adapter' for fixing bugs with language models. Our experiments demonstrate the validity of both concepts. First, fine-tuning adapters with program repair specific code representations enables the model to use meaningful repair signals. Second, parameter-efficient fine-tuning helps fine-tuning to converge and contributes to the effectiveness of the repair adapter to fix data-points outside the fine-tuning data distribution. Overall, RepairLLaMA correctly fixes 125 Defects4J v2 and 82 HumanEval-Java bugs, outperforming all baselines.
• Abstract（参考訳）: APR(Automated Program repair)は、LLM(Large Language Models)の出現によって大きく進化した。 プログラム修復のための微調整LDMは最近の研究の道であり、多くの次元がまだ探索されていない。 既存の作業は、コード表現が単純で、大きなLLMを微調整する能力に基本的に制限がある。 この問題に対処するため,我々は,新しいプログラム修復手法である repairllama を提案する。 1) apr と apr のコード表現 2) LLMファインチューニング技術であるLoRAについて検討した。 この結果、LLaMAは言語モデルでバグを修正するのに非常に効果的な'プログラム修復アダプタ'を作成した。 両概念の妥当性を示す実験を行った。 まず、プログラムの補修固有のコード表現を備えた微調整アダプタにより、意味のある補修信号を使用することができる。 第二に、パラメータ効率の良い微調整は微調整の収束に役立ち、微調整データ分布外のデータポイントを修正するための補修アダプタの有効性に寄与する。 repairLLaMAは、125 Defects4J v2と82 HumanEval-Javaのバグを正しく修正し、すべてのベースラインを上回っている。

関連論文リスト

• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• Accelerating Automatic Program Repair with Dual Retrieval-Augmented Fine-Tuning and Patch Generation on Large Language Models [28.75106676284909]
  新たに設計されたデュアルRAGモジュールと微調整LDMを統合した新しいAPR手法であるSelRepairを提案する。 このアプローチでは、バグフィックスペアデータセットを微調整に使用し、RAG選択ゲートを通じて意味的および構文的/構造的類似情報を組み込む。 Javaデータセットの評価では、SelRepairは他のAPRメソッドよりも優れており、異なるデータセット上での正確なマッチング(EM)で26.29%と17.64%を達成し、制御された入力長で推論時間を少なくとも6.42%削減している。
  論文  参考訳（メタデータ） (2025-07-14T09:41:51Z)
• Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [84.30534714651093]
  本稿では,検証を意識したプログラミング言語であるDafnyに対して,革新的なAPRツールを提案する。 プログラム内の各ステートメントの状態を決定するために、Hoare Logicの使用を含む一連のステップを通じて、障害をローカライズします。 実世界のDafnyプログラムのベンチマークであるDafnyBenchを用いて,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2025-07-04T15:36:12Z)
• Repair Ingredients Are All You Need: Improving Large Language Model-Based Program Repair via Repair Ingredients Search [41.50068103527948]
  ReinFixは、バグ修正の推論と解決フェーズを通じて、修復材料を検索するフレームワークである。 ソリューションフェーズでは、ReinFixは、同様のバグパターンで過去のバグ修正から外部の要素を検索する。 2つの人気のあるベンチマークによる評価は、SOTAベースラインに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2025-06-29T06:02:11Z)
• The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models [48.073219761367184]
  複数出力の生成と複数ラウンドの反復のバランスをとるAPRパイプラインについて検討する。 3つのサイズ(1K, 30K, 65K)と2つのテクニック(フルファインチューニングとLoRA)を持つAPRデータセット上で各モデルを微調整する。 その結果,微調整データセットのごく一部(1%)しか使用せず,最大78%の改善が達成できた。
  論文  参考訳（メタデータ） (2025-05-05T18:06:51Z)
• Studying and Understanding the Effectiveness and Failures of Conversational LLM-Based Repair [3.93048798243871]
  自動プログラム修復(APR)は、バグ修正のプロセスを自動化するように設計されている。 会話言語モデル(LLM)を利用した高度なAPR技術は、目覚ましい修復能力を示した。 優位性にもかかわらず、会話型APR技術は依然として多くのバグを修復することができない。
  論文  参考訳（メタデータ） (2025-03-19T09:39:32Z)
• FastFixer: An Efficient and Effective Approach for Repairing Programming Assignments [21.848112758958543]
  本稿では,FastFixerを提案する。 まず,必要なパッチと関連するコンテキストを生成する方法を学ぶことへのLLMの関心を高めることを目的とした,修復指向のファインチューニング戦略を提案する。 修復効率を考慮すると、FastFixerは自動回帰復号アルゴリズムと比較して16.67倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-11T10:17:02Z)
• Repairs in a Block World: A New Benchmark for Handling User Corrections with Multi-Modal Language Models [48.42142115255159]
  命令追従操作タスクにおけるマルチモーダルなTPRシーケンスのデータセットであるBlockWorld-Repairsをリリースする。 現状のビジョンと言語モデル(VLM)を複数の設定で評価し,TPRの処理能力と正確な応答性に着目した。 以上の結果から,これらのモデルはまだマルチモーダル・コラボレーティブ・セッティングにデプロイする準備が整っていないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-21T21:06:25Z)
• The Impact of Program Reduction on Automated Program Repair [0.3277163122167433]
  本稿では,現代のAPRツールのスケーラビリティ向上を目的としたプログラム修復手法について述べる。 本研究では,スライシングが修復プロセスの3つの段階,すなわち障害局所化,パッチ生成,パッチ検証に与える影響について検討する。 プログラムの削減は修理品質を劣化させることなくAPRの性能を向上させることができるが、この改善は普遍的ではない。
  論文  参考訳（メタデータ） (2024-08-02T09:23:45Z)
• On The Effectiveness of Dynamic Reduction Techniques in Automated Program Repair [1.7767466724342067]
  本稿では,大規模バグ修正プログラムを効果的に処理するプログラム修復フレームワークについて述べる。 このフレームワークは、プログラムスライシングの形式でプログラムの削減を利用して、修正中のバグとは無関係にコードの一部を除去する。 広く使用されているDefects4Jデータセットに対する実験結果から,修復品質の劣化を伴わずに,大幅な性能向上が達成できることが判明した。
  論文  参考訳（メタデータ） (2024-06-23T21:35:07Z)
• Multi-Objective Fine-Tuning for Enhanced Program Repair with LLMs [16.890411067079885]
  大規模言語モデル(LLM)は、幅広い下流タスクにおいて顕著な機能を示した。 プログラム修復のためのLLMファインチューニングの学習焦点に関する新しい視点を提案する。 我々はMORepairを、サイズやアーキテクチャの異なる4つのオープンソースLCMの微調整に応用する。
  論文  参考訳（メタデータ） (2024-04-19T05:36:21Z)
• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• Enhancing Redundancy-based Automated Program Repair by Fine-grained Pattern Mining [18.3896381051331]
  本稿では,効果的なパッチ生成を導くための2段階のパターンマイニングプロセスを含むRepattという新しい修復手法を提案する。 我々は広く使われているDefects4Jベンチマークの実験を行い、Repattを8つの最先端のAPRアプローチと比較した。
  論文  参考訳（メタデータ） (2023-12-26T08:42:32Z)
• Lyra: Orchestrating Dual Correction in Automated Theorem Proving [63.115422781158934]
  Lyraは新しいフレームワークで、ツール補正とConjecture Correctionという2つの異なる補正メカニズムを採用している。 ツール補正は幻覚の緩和に寄与し、それによって証明の全体的な精度が向上する。 Conjecture Correctionは命令で生成を洗練させるが、ペア化された(生成、エラー、改善)プロンプトは収集しない。
  論文  参考訳（メタデータ） (2023-09-27T17:29:41Z)
• RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
  新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
  論文  参考訳（メタデータ） (2023-09-12T08:52:56Z)
• Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
  大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。 自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。 我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
  論文  参考訳（メタデータ） (2023-06-16T15:13:17Z)
• Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
  本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。 次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。 オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-05-20T07:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。