論文の概要: A Novel Approach for Rapid Development Based on ChatGPT and Prompt
Engineering
- arxiv url: http://arxiv.org/abs/2312.13115v2
- Date: Thu, 21 Dec 2023 03:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 17:24:32.452554
- Title: A Novel Approach for Rapid Development Based on ChatGPT and Prompt
Engineering
- Title(参考訳): ChatGPT と Prompt Engineering に基づく高速開発のための新しいアプローチ
- Authors: Youjia Li, Jianjun Shi, Zheng Zhang
- Abstract要約: 我々は、ユーザインターフェース、Prompt Builder、バックエンドサービスといった主要なコンポーネントからなるWebベースのコード生成プラットフォームを開発します。
具体的には、Prompt Builderはモデル生成性能を向上させるための包括的なプロンプトを動的に生成する。
その結果,1) Prompt Builderは有効であり,EMが65.06%,BLEUが38.45%,CodeBLEUが15.70%,Pass@1が50.64%向上した。
- 参考スコア(独自算出の注目度): 11.451427439861655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code generation stands as a powerful technique in modern software
development, improving development efficiency, reducing errors, and fostering
standardization and consistency. Recently, ChatGPT has exhibited immense
potential in automatic code generation. However, existing researches on code
generation lack guidance for practical software development process. In this
study, we utilized ChatGPT to develop a web-based code generation platform
consisting of key components: User Interface, Prompt Builder and Backend
Service. Specifically, Prompt Builder dynamically generated comprehensive
prompts to enhance model generation performance. We conducted experiments on 2
datasets, evaluating the generated code through 8 widely used metrics.The
results demonstrate that (1) Our Prompt Builder is effective, resulting in a
65.06% improvement in EM, a 38.45% improvement in BLEU, a 15.70% improvement in
CodeBLEU, and a 50.64% improvement in Pass@1. (2) In real development
scenarios, 98.5% of test cases can be validated through manual validation,
highlighting the genuine assistance provided by the ChatGPT-based code
generation approach.
- Abstract(参考訳): コード生成は、現代のソフトウェア開発における強力な技術であり、開発効率を改善し、エラーを減らし、標準化と一貫性を育む。
近年、ChatGPTは自動コード生成において大きな可能性を秘めている。
しかし、コード生成に関する既存の研究は、実用的なソフトウェア開発プロセスのガイダンスを欠いている。
本研究では、ChatGPTを利用して、ユーザインターフェース、Prompt Builder、バックエンドサービスといった主要なコンポーネントからなるWebベースのコード生成プラットフォームを開発しました。
具体的には、Prompt Builderはモデル生成性能を向上させるための包括的なプロンプトを動的に生成する。
その結果,1) Prompt Builderは有効であり,EMが65.06%,BLEUが38.45%,CodeBLEUが15.70%,Pass@1が50.64%向上した。
2) 実際の開発シナリオでは,テストケースの98.5%が手作業による検証によって検証され,ChatGPTベースのコード生成アプローチによる真の支援が強調される。
関連論文リスト
- When LLM-based Code Generation Meets the Software Development Process [50.82665351100067]
本稿では,ソフトウェア工学の確立した実践に触発されたコード生成フレームワークであるLCGを紹介する。
LLMエージェントは、LCGWaterfall、LCGTDD、LCGScrumといった様々なソフトウェアプロセスモデルをエミュレートする。
我々は,HumanEval,HumanEval-ET,MBPP,MBPP-ETの4つのコード生成ベンチマークでLCGを評価した。
論文 参考訳(メタデータ) (2024-03-23T14:04:48Z) - OpenCodeInterpreter: Integrating Code Generation with Execution and
Refinement [58.034012276819425]
我々はOpenCodeInterpreterを紹介した。OpenCodeInterpreterは、コードを生成、実行、反復的に精製するためのオープンソースのコードシステムのファミリーである。
我々は,HumanEvalやMBPP,EvalPlusの強化バージョンなど,主要なベンチマークを対象としたOpenCodeInterpreterの総合評価を行った。
論文 参考訳(メタデータ) (2024-02-22T16:06:23Z) - EffiBench: Benchmarking the Efficiency of Automatically Generated Code [13.85357787564053]
GPT-4-turboは最も効率的なコードを生成し、Palm-2-chat-bison、Claude-instant-1、Gemini-pro、GPT-4、GPT-3.5を著しく上回っている。
GPT-4-turbo生成コードの平均実行時間は、標準解の1.69倍と45.49倍である。
論文 参考訳(メタデータ) (2024-02-03T05:24:39Z) - CodePori: Large Scale Model for Autonomous Software Development by Using
Multi-Agents [3.8066447473175304]
大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学(SE)の分野を変えつつある。
本稿では,自然言語のプロンプトに基づく大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化する新しいモデルであるCodePoriを紹介する。
論文では、CodePoriが大規模なプロジェクトのために実行中のコードを生成し、数時間ではなく数分でソフトウェア開発プロセス全体を完了し、数ドルというコストで実行可能であることを示しています。
論文 参考訳(メタデータ) (2024-02-02T13:42:50Z) - Leveraging Print Debugging to Improve Code Generation in Large Language
Models [63.63160583432348]
大規模言語モデル(LLM)はコード生成タスクにおいて大きな進歩を遂げた。
しかし、複雑なデータ構造やアルゴリズムによるプログラミング問題に対処する彼らのパフォーマンスは、依然として準最適である。
そこで本稿では,LLM のデバッグを "print debugging" 手法でガイドする,コンテキスト内学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-10T18:37:59Z) - AgentCoder: Multi-Agent-based Code Generation with Iterative Testing and
Optimisation [11.396924441349263]
本稿では,マルチエージェント・アシスタント・コード生成(AgentCoder)を紹介する。
AgentCoderは,プログラマエージェント,テストデザイナエージェント,テストエグゼクタエージェントという,特殊なエージェントを備えたマルチエージェントフレームワークを備えた,斬新なソリューションだ。
9つのコード生成モデルと12つの拡張アプローチの実験では、既存のコード生成モデルよりもAgentCoderの方が優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-12-20T13:22:41Z) - No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT [28.68768157452352]
本稿では,ChatGPTを用いたコード生成の質について検討する。
私たちは5つの言語(C、C++、Java、Python、JavaScript)で728のアルゴリズム問題と、コード生成タスクの54のコードシナリオを持つ18のCWEを活用しています。
この結果から,ChatGPTベースのコード生成に生じる潜在的な問題や限界が明らかになった。
論文 参考訳(メタデータ) (2023-08-09T10:01:09Z) - Stay on topic with Classifier-Free Guidance [57.28934343207042]
CFGは純粋言語モデリングにおける推論時手法として広く利用できることを示す。
CFG は Pythia, GPT-2 および LLaMA ファミリーモデルの性能をタスクの配列にわたって改善することを示す。
論文 参考訳(メタデータ) (2023-06-30T17:07:02Z) - Improving ChatGPT Prompt for Code Generation [13.303599826870705]
OpenAIの言語モデルChatGPTは、幅広いテキスト入力に対するヒューマンライクな応答を生成する強力なツールとして登場した。
テキスト・ツー・コード生成とコード・ツー・コード生成を含む2つのコード生成タスクにおけるChatGPTの機能を評価する。
その結果,ChatGPTをガイドするプロンプトを慎重に設計することで,生成性能を大幅に向上できることがわかった。
論文 参考訳(メタデータ) (2023-05-15T05:37:33Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳(メタデータ) (2023-02-15T18:59:21Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳(メタデータ) (2022-07-21T10:18:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。