論文の概要: AgentCoder: Multi-Agent-based Code Generation with Iterative Testing and
Optimisation
- arxiv url: http://arxiv.org/abs/2312.13010v2
- Date: Tue, 23 Jan 2024 02:12:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 18:29:41.653875
- Title: AgentCoder: Multi-Agent-based Code Generation with Iterative Testing and
Optimisation
- Title(参考訳): AgentCoder: 反復テストと最適化を備えたマルチエージェントベースのコード生成
- Authors: Dong Huang, Qingwen Bu, Jie M.Zhang, Michael Luck, and Heming Cui
- Abstract要約: 本稿では,マルチエージェント・アシスタント・コード生成(AgentCoder)を紹介する。
AgentCoderは,プログラマエージェント,テストデザイナエージェント,テストエグゼクタエージェントという,特殊なエージェントを備えたマルチエージェントフレームワークを備えた,斬新なソリューションだ。
9つのコード生成モデルと12つの拡張アプローチの実験では、既存のコード生成モデルよりもAgentCoderの方が優れたパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 11.396924441349263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of natural language processing (NLP) has been significantly
boosted by the development of transformer-based large language models (LLMs).
These models have revolutionized NLP tasks, particularly in code generation,
aiding developers in creating software with enhanced efficiency. Despite their
advancements, challenges in balancing code snippet generation with effective
test case generation and execution persist. To address these issues, this paper
introduces Multi-Agent Assistant Code Generation (AgentCoder), a novel solution
comprising a multi-agent framework with specialized agents: the programmer
agent, the test designer agent, and the test executor agent. During the coding
procedure, the programmer agent will focus on the code generation and
refinement based on the test executor agent's feedback. The test designer agent
will generate test cases for the generated code, and the test executor agent
will run the code with the test cases and write the feedback to the programmer.
This collaborative system ensures robust code generation, surpassing the
limitations of single-agent models and traditional methodologies. Our extensive
experiments on 9 code generation models and 12 enhancement approaches showcase
AgentCoder's superior performance over existing code generation models and
prompt engineering techniques across various benchmarks. For example,
AgentCoder achieves 77.4% and 89.1% pass@1 in HumanEval-ET and MBPP-ET with
GPT-3.5, while SOTA baselines obtain only 69.5% and 63.0%.
- Abstract(参考訳): 自然言語処理(NLP)の進歩は、トランスフォーマーベースの大規模言語モデル(LLM)の開発によって著しく加速された。
これらのモデルはnlpタスク、特にコード生成に革命をもたらし、開発者の効率を高めたソフトウェア作成を支援する。
その進歩にもかかわらず、コードスニペット生成と効果的なテストケース生成と実行のバランスをとる上での課題は続く。
これらの問題に対処するために,プログラマエージェント,テストデザイナエージェント,テストエグゼクタエージェントなど,特殊なエージェントを備えたマルチエージェントフレームワークを備えた新しいソリューションであるマルチエージェントアシスタントコード生成(AgentCoder)を紹介する。
コーディング手順の間、プログラマエージェントは、テスト実行エージェントのフィードバックに基づいて、コード生成と改善に集中します。
テストデザイナエージェントは生成されたコードのテストケースを生成し、テスト実行エージェントはテストケースでコードを実行し、プログラマにフィードバックを書きます。
この協調システムは、単一エージェントモデルと従来の方法論の制限を越えて、堅牢なコード生成を保証する。
9つのコード生成モデルと12の拡張アプローチに関する広範な実験では、AgentCoderが既存のコード生成モデルよりも優れたパフォーマンスを示し、さまざまなベンチマークでエンジニアリング技術を推進しています。
例えば、HumanEval-ETの77.4%と89.1%のpass@1、GPT-3.5のMBPP-ET、SOTAのベースラインは69.5%と63.0%である。
関連論文リスト
- RepoAgent: An LLM-Powered Open-Source Framework for Repository-level
Code Documentation Generation [79.83270415843857]
コードドキュメンテーションを積極的に生成、保守、更新することを目的とした、大規模な言語モデルによるオープンソースフレームワークであるRepoAgentを紹介します。
RepoAgentは高品質なリポジトリレベルのドキュメントを生成するのに優れています。
論文 参考訳(メタデータ) (2024-02-26T15:39:52Z) - CodeAgent: Collaborative Agents for Software Engineering [21.094498135928404]
コードレビューのための新しいマルチエージェントベースのシステムであるCodeAgentを紹介する。
CodeAgentは自律的で、マルチエージェントで、大規模言語モデル駆動である。
論文 参考訳(メタデータ) (2024-02-03T14:43:14Z) - CodePori: Large Scale Model for Autonomous Software Development by Using
Multi-Agents [3.8066447473175304]
大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学(SE)の分野を変えつつある。
本稿では,自然言語のプロンプトに基づく大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化する新しいモデルであるCodePoriを紹介する。
論文では、CodePoriが大規模なプロジェクトのために実行中のコードを生成し、数時間ではなく数分でソフトウェア開発プロセス全体を完了し、数ドルというコストで実行可能であることを示しています。
論文 参考訳(メタデータ) (2024-02-02T13:42:50Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - CodeAgent: Enhancing Code Generation with Tool-Integrated Agent Systems
for Real-World Repo-level Coding Challenges [44.028079593225584]
大規模言語モデル(LLM)は自動コード生成において有望であるが、通常は単純なタスクでのみ優れている。
私たちの研究は、実世界のリポジトリレベルのコード生成という、より現実的な設定でLLMを評価することに向かっています。
我々は,効率的なリポジトリレベルのコード生成に外部ツールを利用する,新しいLLMベースのエージェントフレームワークであるCodeAgentを紹介する。
論文 参考訳(メタデータ) (2024-01-14T18:12:03Z) - EHRAgent: Code Empowers Large Language Models for Few-shot Complex
Tabular Reasoning on Electronic Health Records [48.9788858020623]
大規模言語モデル(LLM)は、計画とツールの利用において例外的な能力を示した。
コードインタフェースを備えたLLMエージェントであるEHRAgentを提案し,マルチタブラル推論のためのコードの自動生成と実行を行う。
論文 参考訳(メタデータ) (2024-01-13T18:09:05Z) - A Novel Approach for Rapid Development Based on ChatGPT and Prompt
Engineering [11.451427439861655]
我々は、ユーザインターフェース、Prompt Builder、バックエンドサービスといった主要なコンポーネントからなるWebベースのコード生成プラットフォームを開発します。
具体的には、Prompt Builderはモデル生成性能を向上させるための包括的なプロンプトを動的に生成する。
その結果,1) Prompt Builderは有効であり,EMが65.06%,BLEUが38.45%,CodeBLEUが15.70%,Pass@1が50.64%向上した。
論文 参考訳(メタデータ) (2023-12-20T15:36:13Z) - Coder Reviewer Reranking for Code Generation [56.80381384717]
本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。
実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。
Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
論文 参考訳(メタデータ) (2022-11-29T18:56:33Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳(メタデータ) (2022-07-21T10:18:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。