論文の概要: Enhancing Genetic Improvement Mutations Using Large Language Models
- arxiv url: http://arxiv.org/abs/2310.19813v1
- Date: Wed, 18 Oct 2023 10:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 13:26:50.184887
- Title: Enhancing Genetic Improvement Mutations Using Large Language Models
- Title(参考訳): 大規模言語モデルを用いた遺伝的改良変異の強化
- Authors: Alexander E.I. Brownlee, James Callan, Karine Even-Mendoza, Alina
Geiger, Carol Hanna, Justyna Petke, Federica Sarro, Dominik Sobania
- Abstract要約: 大規模言語モデル(LLM)は、プログラム修復を含むソフトウェア工学のタスクにうまく適用されている。
遺伝子改良(GI)のための突然変異演算子としてLLMを用いた検索プロセスの改善について検討した。
単体テストに合格するパッチの数は、標準のInsert編集よりもLLMベースの編集の方が75%高いことがわかった。
- 参考スコア(独自算出の注目度): 47.62003403631452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have been successfully applied to software
engineering tasks, including program repair. However, their application in
search-based techniques such as Genetic Improvement (GI) is still largely
unexplored. In this paper, we evaluate the use of LLMs as mutation operators
for GI to improve the search process. We expand the Gin Java GI toolkit to call
OpenAI's API to generate edits for the JCodec tool. We randomly sample the
space of edits using 5 different edit types. We find that the number of patches
passing unit tests is up to 75% higher with LLM-based edits than with standard
Insert edits. Further, we observe that the patches found with LLMs are
generally less diverse compared to standard edits. We ran GI with local search
to find runtime improvements. Although many improving patches are found by
LLM-enhanced GI, the best improving patch was found by standard GI.
- Abstract(参考訳): 大規模言語モデル(LLM)は、プログラム修復を含むソフトウェア工学のタスクにうまく適用されている。
しかし, 遺伝的改良(GI)などの検索技術への応用はいまだに未解明である。
本稿では,GI の突然変異演算子として LLM を用いた検索プロセスの改善について検討する。
我々は、Gin Java GIツールキットを拡張してOpenAIのAPIを呼び出して、JCodecツールの編集を生成する。
5種類の編集タイプを用いて編集空間をランダムにサンプリングする。
単体テストに合格するパッチの数は、標準のInsert編集よりもLLMベースの編集の方が75%高いことがわかった。
さらに,LLMのパッチは標準編集に比べて一般的には多様性が低い。
ランタイムの改善を見つけるために、ローカル検索でgiを実行しました。
LLM拡張GIでは多くの改善パッチが見つかったが、最高の改善パッチは標準GIで見つかった。
関連論文リスト
- AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。
パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。
我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
論文 参考訳(メタデータ) (2024-10-03T10:06:27Z) - Revisiting Unnaturalness for Automated Program Repair in the Era of Large Language Models [9.454475517867817]
本研究では,テンプレートベースの補修技術の効率化を目的としたパッチ自然度測定,エントロピーデルタを提案する。
提案手法は,最先端の機械学習ツールよりも効果的に正パッチをランク付けできる。
論文 参考訳(メタデータ) (2024-04-23T17:12:45Z) - CodeEditorBench: Evaluating Code Editing Capability of Large Language Models [49.387195629660994]
コードのための大規模言語モデル(LLM)は急速に進化しており、コード編集が重要な機能として現れている。
コード編集タスクにおけるLLMの性能を厳格に評価するための評価フレームワークであるCodeEditorBenchを紹介する。
5つのソースからさまざまなコーディング課題やシナリオをキュレートし、さまざまなプログラミング言語、複雑性レベル、編集タスクをカバーしています。
論文 参考訳(メタデータ) (2024-04-04T15:49:49Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳(メタデータ) (2024-02-21T07:52:26Z) - Improving Cross-Domain Low-Resource Text Generation through LLM
Post-Editing: A Programmer-Interpreter Approach [50.400999859808984]
後編集は、大規模言語モデル(LLM)によって生成されたテキストの品質向上に有効であることが証明された。
本稿では,LLMの領域一般化能力を保持するニューラルプログラマ・解釈手法を提案する。
実験により,プログラマ・インタプリタは論理形式変換や低リソース機械翻訳において,GPT-3.5の性能を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2024-02-07T06:13:14Z) - SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
最近のモデル編集は、大規模言語モデル(LLM)の少量の知識を効率的に更新するための有望な手法である
本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。
我々は、textscCounterFactおよびzsREデータセット上でSWEA$oplus$OSのSOTA(State-of-the-art)パフォーマンスを実証する。
論文 参考訳(メタデータ) (2024-01-31T13:08:45Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - InstructCoder: Instruction Tuning Large Language Models for Code Editing [26.160498475809266]
ユーザインストラクションに基づいたコード編集にLLM(Large Language Models)を用いる方法について検討する。
InstructCoderは、汎用コード編集にLLMを適用するために設計された最初の命令チューニングデータセットである。
InstructCoderで微調整されたオープンソースのLLMは、コード編集の精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2023-10-31T10:15:35Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳(メタデータ) (2023-09-12T08:52:56Z) - Towards Generating Functionally Correct Code Edits from Natural Language
Issue Descriptions [11.327913840111378]
Defects4J-NL2Fixは、人気のあるDefects4Jデータセットから283のJavaプログラムのデータセットで、バグ修正の高レベルな記述を付加します。
本研究は,この課題に対するいくつかの最先端LCMの性能を実証的に評価する。
論文 参考訳(メタデータ) (2023-04-07T18:58:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。