論文の概要: Accelerating Automatic Program Repair with Dual Retrieval-Augmented Fine-Tuning and Patch Generation on Large Language Models

• arxiv url: http://arxiv.org/abs/2507.10103v1
• Date: Mon, 14 Jul 2025 09:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.655023
• Title: Accelerating Automatic Program Repair with Dual Retrieval-Augmented Fine-Tuning and Patch Generation on Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた二重検索型ファインチューニングとパッチ生成によるプログラム修復の高速化
• Authors: Hanyang Guo, Xiaoheng Xie, Hong-Ning Dai, Peng Di, Yu Zhang, Bishenghui Tao, Zibin Zheng,
• Abstract要約: 新たに設計されたデュアルRAGモジュールと微調整LDMを統合した新しいAPR手法であるSelRepairを提案する。 このアプローチでは、バグフィックスペアデータセットを微調整に使用し、RAG選択ゲートを通じて意味的および構文的/構造的類似情報を組み込む。 Javaデータセットの評価では、SelRepairは他のAPRメソッドよりも優れており、異なるデータセット上での正確なマッチング(EM)で26.29%と17.64%を達成し、制御された入力長で推論時間を少なくとも6.42%削減している。
• 参考スコア（独自算出の注目度）: 28.75106676284909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Program Repair (APR) is essential for ensuring software reliability and quality while enhancing efficiency and reducing developers' workload. Although rule-based and learning-based APR methods have demonstrated their effectiveness, their performance was constrained by the defect type of repair, the quality of training data, and the size of model parameters. Recently, Large Language Models (LLMs) combined with Retrieval-Augmented-Generation (RAG) have been increasingly adopted in APR tasks. However, current code LLMs and RAG designs neither fully address code repair tasks nor consider code-specific features. To overcome these limitations, we propose SelRepair, a novel APR approach with integration of a fine-tuned LLM with a newly-designed dual RAG module. This approach uses a bug-fix pair dataset for fine-tuning and incorporates semantic and syntactic/structural similarity information through an RAG selection gate. This design ensures relevant information is retrieved efficiently, thereby reducing token length and inference time. Evaluations on Java datasets show SelRepair outperforms other APR methods, achieving 26.29% and 17.64% in terms of exact match (EM) on different datasets while reducing inference time by at least 6.42% with controlled input lengths.
• Abstract（参考訳）: 自動化プログラム修復(APR)は、効率を高め、開発者の作業量を削減しつつ、ソフトウェアの信頼性と品質を保証するために不可欠である。 ルールベースおよび学習ベースAPR法は,その有効性を示したが,その性能は修理の欠陥タイプ,トレーニングデータの品質,モデルパラメータのサイズに制約されていた。 近年,Large Language Models (LLM) とRetrieval-Augmented-Generation (RAG) が組み合わさって,APRタスクに採用されている。 しかし、現在のLLMとRAGは、完全なコード修復タスクにも、コード固有の機能も考慮していない。 これらの制約を克服するため,新たに設計されたデュアルRAGモジュールと微調整LDMを統合した新しいAPR手法であるSelRepairを提案する。 このアプローチでは、バグフィックスペアデータセットを微調整に使用し、RAG選択ゲートを通じて意味的および構文的/構造的類似情報を組み込む。 この設計により、関連情報が効率的に検索されることが保証され、トークン長と推論時間が短縮される。 Javaデータセットの評価では、SelRepairは他のAPRメソッドよりも優れており、異なるデータセット上での正確なマッチング(EM)で26.29%と17.64%を達成し、制御された入力長で推論時間を少なくとも6.42%削減している。

関連論文リスト

• Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [84.30534714651093]
  本稿では,検証を意識したプログラミング言語であるDafnyに対して,革新的なAPRツールを提案する。 プログラム内の各ステートメントの状態を決定するために、Hoare Logicの使用を含む一連のステップを通じて、障害をローカライズします。 実世界のDafnyプログラムのベンチマークであるDafnyBenchを用いて,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2025-07-04T15:36:12Z)
• The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models [48.073219761367184]
  複数出力の生成と複数ラウンドの反復のバランスをとるAPRパイプラインについて検討する。 3つのサイズ(1K, 30K, 65K)と2つのテクニック(フルファインチューニングとLoRA)を持つAPRデータセット上で各モデルを微調整する。 その結果,微調整データセットのごく一部(1%)しか使用せず,最大78%の改善が達成できた。
  論文  参考訳（メタデータ） (2025-05-05T18:06:51Z)
• Adapting Knowledge Prompt Tuning for Enhanced Automated Program Repair [5.041384008847852]
  自動プログラム修正(APR)は、バグ修正パッチを自動生成することで、ソフトウェアの信頼性を高めることを目的としている。 最近の研究は、APR用のCodeT5のような、訓練済みの大規模言語モデル(LLM)を微調整することで、APRの現状を改善している。 本稿では、APRの強化に即時チューニングを適用し、データ不足シナリオにおけるその有効性を評価する。
  論文  参考訳（メタデータ） (2025-04-02T09:10:02Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• RePair: Automated Program Repair with Process-based Feedback [28.017321930042694]
  本稿では,プロセスの監督とフィードバックによって,小規模言語モデル(LM)が優れたパフォーマンスを実現する方法を示す。 我々は、批評家として機能する報酬モデルを開発し、微調整されたLMの行動に対するフィードバックを提供する。 その結果, プロセスベースでは, より大きな結果に基づく生成方法よりも, クローズドソースの大規模LMの性能にほぼ匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2024-08-21T02:53:23Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• Hybrid Automated Program Repair by Combining Large Language Models and Program Analysis [12.7034916462208]
  自動プログラム修復(APR)は、人間の開発者のバグ修正プロセスを合理化する可能性から、大きな注目を集めている。 本稿ではGIANTREPAIRと呼ばれる革新的なAPR手法を紹介する。 この知見に基づいて、GIANTREPAIRはまず、LLM生成したパッチからパッチスケルトンを構築して、パッチ空間を閉じ込め、その後、特定のプログラムに適した高品質なパッチを生成する。
  論文  参考訳（メタデータ） (2024-06-03T05:05:12Z)
• RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
  新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
  論文  参考訳（メタデータ） (2023-09-12T08:52:56Z)
• Improving Automated Program Repair with Domain Adaptation [0.0]
  自動プログラム修復(APR)は、ソースコードのバグ/欠陥を修正するプロセスとして、自動化ツールによって定義される。 APRツールは最近、最先端のニューラルネットワーク処理(NLP)技術を活用することで、有望な結果を経験している。
  論文  参考訳（メタデータ） (2022-12-21T23:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。