論文の概要: Adapting Knowledge Prompt Tuning for Enhanced Automated Program Repair

• arxiv url: http://arxiv.org/abs/2504.01523v1
• Date: Wed, 02 Apr 2025 09:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:23:52.618906
• Title: Adapting Knowledge Prompt Tuning for Enhanced Automated Program Repair
• Title（参考訳）: プログラム修復の高度化のための知識プロンプトチューニングの適用
• Authors: Xuemeng Cai, Lingxiao Jiang,
• Abstract要約: 自動プログラム修正(APR)は、バグ修正パッチを自動生成することで、ソフトウェアの信頼性を高めることを目的としている。 最近の研究は、APR用のCodeT5のような、訓練済みの大規模言語モデル(LLM)を微調整することで、APRの現状を改善している。 本稿では、APRの強化に即時チューニングを適用し、データ不足シナリオにおけるその有効性を評価する。
• 参考スコア（独自算出の注目度）: 5.041384008847852
• License:
• Abstract: Automated Program Repair (APR) aims to enhance software reliability by automatically generating bug-fixing patches. Recent work has improved the state-of-the-art of APR by fine-tuning pre-trained large language models (LLMs), such as CodeT5, for APR. However, the effectiveness of fine-tuning becomes weakened in data scarcity scenarios, and data scarcity can be a common issue in practice, limiting fine-tuning performance. To alleviate this limitation, this paper adapts prompt tuning for enhanced APR and conducts a comprehensive study to evaluate its effectiveness in data scarcity scenarios, using three LLMs of different sizes and six diverse datasets across four programming languages. Prompt tuning rewrites the input to a model by adding extra prompt tokens and tunes both the model and the prompts on a small dataset. These tokens provide task-specific knowledge that can improve the model for APR, which is especially critical in data scarcity scenarios. Moreover, domain knowledge has proven crucial in many code intelligence tasks, but existing studies fail to leverage domain knowledge during the prompt tuning for APR. To close this gap, we introduce knowledge prompt tuning, an approach that adapts prompt tuning with six distinct types of code- or bug-related domain knowledge for APR. Our work, to the best of our knowledge, is the first to adapt and evaluate prompt tuning and the effectiveness of code- or bug-related domain knowledge for APR, particularly under data scarcity settings. Our evaluation results demonstrate that prompt tuning with knowledge generally outperforms fine-tuning under various experimental settings, achieving an average improvement of 87.33% over fine-tuning in data scarcity scenarios.
• Abstract（参考訳）: 自動プログラム修正(APR)は、バグ修正パッチを自動生成することで、ソフトウェアの信頼性を高めることを目的としている。 最近の研究は、APRのためのCodeT5のような、訓練済みの大規模言語モデル(LLM)を微調整することで、APRの現状を改善している。 しかし、データ不足のシナリオでは微調整の有効性が弱まり、実際にデータ不足が一般的な問題となり、微調整のパフォーマンスが制限される。 この制限を緩和するため,本論文では,拡張APRのための即時チューニングを適応させ,データ不足シナリオにおけるその有効性を評価するための総合的な研究を,異なる3つのLLMと4つのプログラミング言語の6つの多様なデータセットを用いて実施する。 プロンプトチューニングは、追加のプロンプトトークンを追加して入力をモデルに書き直し、小さなデータセット上でモデルとプロンプトの両方をチューニングする。 これらのトークンは、特にデータ不足のシナリオにおいて重要な、APRのモデルを改善するためのタスク固有の知識を提供する。 さらに、多くのコードインテリジェンスタスクではドメイン知識が不可欠であることが証明されているが、既存の研究では、APRの迅速なチューニング中にドメイン知識を活用できない。 このギャップを埋めるために、我々は、APRのための6つの異なるコードまたはバグ関連のドメイン知識でプロンプトチューニングを適応させる、ナレッジプロンプトチューニングを導入する。 私たちの研究は、私たちの知る限り、APRのためのコードやバグ関連のドメイン知識、特にデータ不足条件下での迅速なチューニングと効果を適応し、評価する最初のものです。 評価の結果,知識による迅速なチューニングは,様々な実験条件下での微調整よりも優れており,データ不足シナリオにおける微調整よりも平均87.33%向上していることがわかった。

関連論文リスト

• Evaluating Pre-Trained Models for Multi-Language Vulnerability Patching [3.220818227251765]
  本稿では,事前学習型言語モデルであるCodeBERTとCodeT5の脆弱性パッチ自動適用の可能性について検討する。 これらのモデルの精度、計算効率、脆弱性のあるコードパッチの長さがパフォーマンスに与える影響について評価する。
  論文  参考訳（メタデータ） (2025-01-13T13:51:05Z)
• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• NARRepair: Non-Autoregressive Code Generation Model for Automatic Program Repair [8.77021401961262]
  Non-Autoregressive(NAR)メソッドは、巨大な推論遅延を避けるために、並列にターゲットコードを出力することができる。 APRタスクのための最初のカスタマイズされたNAARコード生成モデルであるNARRepairを提案する。 NARRepair は,1) 補修動作を用いて過補正問題を緩和し,2) AST から依存情報を抽出して単語間の依存情報の欠如を緩和し,3) 文脈情報の欠如を緩和するために2段階の復号を用いる,という3つの大きな特徴を特徴としている。
  論文  参考訳（メタデータ） (2024-06-24T11:04:28Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Improving Automated Program Repair with Domain Adaptation [0.0]
  自動プログラム修復(APR)は、ソースコードのバグ/欠陥を修正するプロセスとして、自動化ツールによって定義される。 APRツールは最近、最先端のニューラルネットワーク処理(NLP)技術を活用することで、有望な結果を経験している。
  論文  参考訳（メタデータ） (2022-12-21T23:52:09Z)
• No More Fine-Tuning? An Experimental Evaluation of Prompt Tuning in Code Intelligence [33.438384268490815]
  本稿では,コードインテリジェンスタスクにおける即時チューニングの使用と効果を実証的に評価する。 本結果から,3つのタスクの微調整性能は,逐次チューニングが連続的に向上していることが示唆された。 我々の結果は、微調整の代わりに、コードインテリジェンスタスクの迅速なチューニングに適応して、より良いパフォーマンスを実現することができることを示唆している。
  論文  参考訳（メタデータ） (2022-07-24T07:29:17Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。