論文の概要: PatchZero: Zero-Shot Automatic Patch Correctness Assessment
- arxiv url: http://arxiv.org/abs/2303.00202v3
- Date: Fri, 22 Mar 2024 09:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 04:08:18.507902
- Title: PatchZero: Zero-Shot Automatic Patch Correctness Assessment
- Title（参考訳）: PatchZero: ゼロショット自動パッチ精度評価
- Authors: Xin Zhou, Bowen Xu, Kisub Kim, DongGyun Han, Thanh Le-Cong, Junda He, Bach Le, David Lo,
- Abstract要約: コードに大規模言語モデルを適用することにより,パッチの正当性評価を行うツールネームを提案する。
ツールネームは、新しいAPRツールによって生成されたものとセマンティックな類似性を示す既存のAPRツールからラベル付きパッチを優先する。
実験の結果,ツールネームの精度は84.4%,F1スコアは86.5%であった。
- 参考スコア（独自算出の注目度）: 13.19425284402493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated Program Repair (APR) techniques have shown more and more promising results in fixing real-world bugs. Despite the effectiveness, APR techniques still face an overfitting problem: a generated patch can be incorrect although it passes all tests. It is time-consuming to manually evaluate the correctness of generated patches that can pass all tests. To address this problem, many approaches have been proposed to automatically assess the correctness of patches generated by APR techniques. These approaches are mainly evaluated within the cross-validation setting. However, for patches generated by a new or unseen APR tool, users are implicitly required to manually label a significant portion of these patches in the cross-validation setting before inferring the remaining patches. To mitigate the issue, in this study, we propose \toolname, the patch correctness assessment by adopting a large language model for code. Specifically, for patches generated by a new or unseen APR tool, \toolname does not need labeled patches of this new or unseen APR tool for training but directly queries the large language model for code to get predictions on the correctness labels without training. In this way, \toolname can reduce the manual labeling effort when building a model to automatically assess the correctness of generated patches of new APR tools. \toolname prioritizes labeled patches from existing APR tools that exhibit semantic similarity to those generated by new APR tools, enhancing the accuracy achieved by \toolname for patches from new APR tools. Our experimental results showed that \toolname can achieve an accuracy of 84.4% and an F1-score of 86.5% on average although no labeled patch of the new or unseen APR tool is available. In addition, our proposed technique outperformed the prior state-of-the-art by a large margin.
- Abstract（参考訳）: APR(Automated Program repair)技術は、現実のバグを修正する上で、より多くの有望な結果を示している。
有効性にも拘わらず、APRのテクニックは相変わらず過度な問題に直面している。
すべてのテストに合格できる、生成されたパッチの正確さを手作業で評価するのは、時間を要する。
この問題に対処するために、APR技術によって生成されたパッチの正当性を自動的に評価する多くの手法が提案されている。
これらのアプローチは、主にクロスバリデーション設定で評価される。
しかし、新しいまたは見えないAPRツールによって生成されたパッチに対しては、ユーザーは、残りのパッチを推測する前に、これらのパッチのかなりの部分をクロスバリデーション設定で手動でラベル付けする必要がある。
そこで本研究では,コードに大規模言語モデルを適用することにより,パッチの正当性評価を行う「toolname」を提案する。
具体的には、新しいまたは見えないAPRツールによって生成されたパッチに対して、トレーニングのために新しいまたは見えないAPRツールのラベル付きパッチは必要ないが、トレーニングなしで正しいラベルの予測を得るために、コードの大きな言語モデルを直接クエリする。
このようにして、 \toolnameは、新しいAPRツールの生成したパッチの正しさを自動的に評価するモデルを構築する際に、手作業によるラベル付けの労力を削減することができる。
新しいAPRツールが生成したパッチとセマンティックな類似性を示す既存のAPRツールからのラベル付きパッチを優先し、新しいAPRツールからのパッチに対する \toolnameによって達成された精度を高める。
実験の結果,新しいAPRツールのラベル付きパッチは使用できないが,<toolname</to>の精度は84.4%,F1スコアは86.5%であった。
さらに,提案手法は従来の最先端技術よりも大きなマージンで優れていた。
関連論文リスト
- Ranking Plausible Patches by Historic Feature Frequencies [4.129445293427074]
PrevaRank は,バグ修正の歴史的プログラマによる修正と特徴的類似性に応じて,可塑性パッチをランク付けする手法である。
PrevaRankは、修正のランクを継続的に改善した。
さまざまなAPRツールやバグに対して,オーバーヘッドを無視して,堅牢に動作します。
論文 参考訳（メタデータ） (2024-07-24T12:58:14Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T22:36:31Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳（メタデータ） (2023-09-12T08:52:56Z) - Target before Shooting: Accurate Anomaly Detection and Localization
under One Millisecond via Cascade Patch Retrieval [49.45246833329707]
異常検出(AD)の「マッチング」性を再検討する
本稿では,ADの精度と実行速度を同時に向上する新しいADフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-13T11:49:05Z) - Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech
Recognition [49.42732949233184]
ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。
損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。
そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-08-12T12:13:52Z) - APPT: Boosting Automated Patch Correctness Prediction via Fine-tuning
Pre-trained Models [15.179895484968476]
本稿では,事前学習と微調整によるモデルベース自動パッチ正当性評価手法であるAPPTを提案する。
我々は1,183個のDefects4Jパッチの実験を行い、APPTが予測精度79.7%、リコール率83.2%を達成したことを示す実験結果を得た。
論文 参考訳（メタデータ） (2023-01-29T14:28:26Z) - Invalidator: Automated Patch Correctness Assessment via Semantic and
Syntactic Reasoning [6.269370220586248]
本稿では,意味論的および統語論的推論により,APR生成パッチの正当性を自動的に評価する手法を提案する。
我々は、Defects4Jの現実世界のプログラムで生成された885パッチのデータセットについて実験を行った。
実験の結果,INVALIDATORは79%のオーバーフィッティングパッチを正しく分類し,最高のベースラインで検出されたパッチを23%上回った。
論文 参考訳（メタデータ） (2023-01-03T14:16:32Z) - Test-based Patch Clustering for Automatically-Generated Patches Assessment [21.051652050359852]
オーバーフィッティングは、パッチが実行され、テストスイートがエラーを露呈しない場合に発生するが、パッチは、実際に基盤となるバグを修正したり、テストスイートがカバーしていない新しい欠陥を導入したりする。
私たちの研究は、プログラマがレビューしなければならない妥当なパッチの数を最小限に抑え、正しいパッチを見つけるのに必要な時間を短縮することを目的としています。
我々は、xTestClusterと呼ばれる新しい軽量なテストベースのパッチクラスタリング手法を導入し、その動的挙動に基づいてパッチをクラスタリングする。
論文 参考訳（メタデータ） (2022-07-22T13:39:27Z) - Checking Patch Behaviour against Test Specification [4.723400023753107]
パッチ動作とテスト仕様のフェールとの関連性について仮説を提案する。
次に、パッチの正当性を予測するための教師なし学習ベースシステムBATSを提案する。
論文 参考訳（メタデータ） (2021-07-28T11:39:06Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳（メタデータ） (2020-10-23T08:33:04Z) - Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。
ラベル修正戦略はこの問題を軽減するために一般的に用いられる。
メタ学習モデルを提案する。
論文 参考訳（メタデータ） (2020-08-03T03:25:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。