論文の概要: Revisiting the Plastic Surgery Hypothesis via Large Language Models
- arxiv url: http://arxiv.org/abs/2303.10494v1
- Date: Sat, 18 Mar 2023 20:33:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 18:59:32.863552
- Title: Revisiting the Plastic Surgery Hypothesis via Large Language Models
- Title(参考訳): 大型言語モデルによる外科手術仮説の再検討
- Authors: Chunqiu Steven Xia, Yifeng Ding, Lingming Zhang
- Abstract要約: 本稿では,大規模言語モデルを直接利用するFitRepairと,ドメイン固有の2つの微調整戦略と,より強力なAPR戦略とを組み合わせたFitRepairを提案する。
広く研究されているDefects4j 1.2と2.0データセットに関する実験は、FitRepairが89と44のバグを修正したことを示している。
- 参考スコア(独自算出の注目度): 9.904030364454563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated Program Repair (APR) aspires to automatically generate patches for
an input buggy program. Traditional APR tools typically focus on specific bug
types and fixes through the use of templates, heuristics, and formal
specifications. However, these techniques are limited in terms of the bug types
and patch variety they can produce. As such, researchers have designed various
learning-based APR tools with recent work focused on directly using Large
Language Models (LLMs) for APR. While LLM-based APR tools are able to achieve
state-of-the-art performance on many repair datasets, the LLMs used for direct
repair are not fully aware of the project-specific information such as unique
variable or method names.
The plastic surgery hypothesis is a well-known insight for APR, which states
that the code ingredients to fix the bug usually already exist within the same
project. Traditional APR tools have largely leveraged the plastic surgery
hypothesis by designing manual or heuristic-based approaches to exploit such
existing code ingredients. However, as recent APR research starts focusing on
LLM-based approaches, the plastic surgery hypothesis has been largely ignored.
In this paper, we ask the following question: How useful is the plastic surgery
hypothesis in the era of LLMs? Interestingly, LLM-based APR presents a unique
opportunity to fully automate the plastic surgery hypothesis via fine-tuning
and prompting. To this end, we propose FitRepair, which combines the direct
usage of LLMs with two domain-specific fine-tuning strategies and one prompting
strategy for more powerful APR. Our experiments on the widely studied Defects4j
1.2 and 2.0 datasets show that FitRepair fixes 89 and 44 bugs (substantially
outperforming the best-performing baseline by 15 and 8), respectively,
demonstrating a promising future of the plastic surgery hypothesis in the era
of LLMs.
- Abstract(参考訳): 自動プログラム修復(automated program repair, apr)は、入力バギープログラムのパッチを自動的に生成する。
従来のAPRツールは、テンプレート、ヒューリスティック、正式な仕様を使用して、特定のバグタイプと修正に重点を置いている。
しかし、これらのテクニックはバグタイプやパッチの種類によって制限されている。
このように、研究者は、APRにLarge Language Models(LLM)を直接使用することに焦点を当てた、さまざまな学習ベースのAPRツールを設計してきた。
LLMベースのAPRツールは、多くの修復データセット上で最先端のパフォーマンスを達成することができるが、直接修復に使われるLLMは、ユニークな変数やメソッド名といったプロジェクト固有の情報を十分に認識していない。
プラスチック手術仮説は、aprのよく知られた洞察であり、バグを修正するためのコード要素は、通常、同じプロジェクト内に存在する、と述べている。
従来のAPRツールは、そのような既存のコード要素を利用する手動またはヒューリスティックなアプローチを設計することで、プラスティックな手術仮説を大いに活用してきた。
しかし、最近のAPR研究はLSMに基づくアプローチに焦点が当てられているため、プラスチックの手術仮説は無視されている。
本稿では, LLM 時代におけるプラスチック手術の仮説は, どの程度有用か, という疑問を呈する。
興味深いことに、LSMをベースとしたAPRは、微調整とプロンプトによってプラスチックの手術仮説を完全に自動化するユニークな機会を提供する。
この目的のために,LLMの直接的利用とドメイン固有の2つの微調整戦略と,より強力なAPR戦略を併用したFitRepairを提案する。
広く研究された defects4j 1.2 と 2.0 データセットに関する実験では,fitrepair は 89 と 44 のバグをそれぞれ 15 と 8 で上回っており,llms の時代におけるプラスチック手術仮説の有望な将来性を示している。
関連論文リスト
- Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳(メタデータ) (2024-02-03T09:48:54Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - Evaluating Pre-trained Language Models for Repairing API Misuses [15.17607624946389]
APIの誤用は、ソフトウェアバグやクラッシュ、脆弱性につながることが多い。
最近の研究では、テストスーツベースの自動プログラム修復(APR)ツールが、API誤用の修復に有効でないことが判明した。
我々は,現在最先端の汎用PLMの9つと,APRツールの2つを含む,11種類の学習支援APRツールに関する総合的研究を行った。
以上の結果から, PLMはAPI誤用を修復する際のAPRツールよりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-10-25T06:10:22Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Practical Program Repair via Preference-based Ensemble Strategy [28.176710503313895]
本稿では、異なるバグを修復するためのAPRツールのランク付けを行うためのPreference-based Ensemble Program repair framework(P-EPR)を提案する。
P-EPRは、修復パターンを利用した最初の非学習ベースのAPRアンサンブル法である。
実験の結果,P-EPRは柔軟性と有効性の両方において既存の戦略よりも優れていた。
論文 参考訳(メタデータ) (2023-09-15T07:23:04Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳(メタデータ) (2023-08-06T18:38:52Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Conversational Automated Program Repair [10.071615423169902]
本稿では,パッチ生成と検証を対話的に交互に行うプログラム修復のための新しいパラダイムを提案する。
我々は,大規模な事前学習型言語モデルの長期的コンテキストウインドウを活用して,以前の不正なパッチの生成を回避するだけでなく,検証フィードバックを取り入れて,テスト対象のプログラムの意味をモデルが理解できるようにする。
論文 参考訳(メタデータ) (2023-01-30T19:22:36Z) - A Survey of Learning-based Automated Program Repair [12.09968472868107]
自動プログラム修復(APR)は、ソフトウェアバグを自動修正することを目的としており、ソフトウェア開発とメンテナンスにおいて重要な役割を果たす。
近年のディープラーニング(DL)の進歩により、ニューラルネットワークを活用して大規模なオープンソースコードリポジトリからバグフィックスパターンを学ぶためのAPR技術が増えている。
本稿では,学習型APRコミュニティにおける最先端研究を要約するために,体系的な調査を行う。
論文 参考訳(メタデータ) (2023-01-09T11:08:15Z) - CURE: Code-Aware Neural Machine Translation for Automatic Program Repair [11.556110575946631]
提案するCUREは,3つの新奇性を持つ新しいNMTベースのAPR手法である。
CUREは、APRタスクの前に開発者ライクなソースコードを学ぶために、大きなソフトウェア上でプログラミング言語(PL)モデルを事前にトレーニングします。
第2に、curyは、バギーコードに近いコンパイル可能なパッチとパッチに注目して、より正確な修正を見つける新しいコードアウェア検索戦略をデザインする。
論文 参考訳(メタデータ) (2021-02-26T22:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。