Fugu-MT 論文翻訳(概要): Self-collaboration Code Generation via ChatGPT

論文の概要: Self-collaboration Code Generation via ChatGPT

arxiv url: http://arxiv.org/abs/2304.07590v3
Date: Sat, 11 May 2024 14:00:45 GMT
ステータス: 処理完了
システム内更新日: 2024-05-15 01:51:46.775570
Title: Self-collaboration Code Generation via ChatGPT
Title（参考訳）: ChatGPTによる自己協調コード生成
Authors: Yihong Dong, Xue Jiang, Zhi Jin, Ge Li,
Abstract要約: 大規模言語モデル(LLM)はコード生成能力に優れていますが、複雑なタスクに苦労しています。本稿では,ChatGPT で実証した LLM を用いたコード生成のための自己協調フレームワークを提案する。この仮想チームを効果的に組織化し、管理するために、ソフトウェア開発方法論をフレームワークに組み入れます。
参考スコア（独自算出の注目度）: 35.88318116340547
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although Large Language Models (LLMs) have demonstrated remarkable code-generation ability, they still struggle with complex tasks. In real-world software development, humans usually tackle complex tasks through collaborative teamwork, a strategy that significantly controls development complexity and enhances software quality. Inspired by this, we present a self-collaboration framework for code generation employing LLMs, exemplified by ChatGPT. Specifically, through role instructions, 1) Multiple LLM agents act as distinct `experts', each responsible for a specific subtask within a complex task; 2) Specify the way to collaborate and interact, so that different roles form a virtual team to facilitate each other's work, ultimately the virtual team addresses code generation tasks collaboratively without the need for human intervention. To effectively organize and manage this virtual team, we incorporate software-development methodology into the framework. Thus, we assemble an elementary team consisting of three LLM roles (i.e., analyst, coder, and tester) responsible for software development's analysis, coding, and testing stages. We conduct comprehensive experiments on various code-generation benchmarks. Experimental results indicate that self-collaboration code generation relatively improves 29.9%-47.1% Pass@1 compared to the base LLM agent. Moreover, we showcase that self-collaboration could potentially enable LLMs to efficiently handle complex repository-level tasks that are not readily solved by the single LLM agent.
Abstract（参考訳）: LLM(Large Language Models)はコード生成能力に優れていますが、それでも複雑なタスクで苦労しています。現実世界のソフトウェア開発では、人間は通常、共同作業を通じて複雑なタスクに取り組む。これに触発されて,ChatGPT で実証された LLM を用いたコード生成のための自己協調フレームワークを提案する。具体的には、役割指示を通じて。 1) 複数のLDMエージェントは,個別の「専門家」として機能し,それぞれが複雑なタスク内の特定のサブタスクに責任を負う。 2) 協力と対話の方法を特定し、異なる役割が互いに作業を促進するために仮想チームを形成するようにし、最終的には人間の介入を必要とせずに、共同でコード生成タスクに対処します。この仮想チームを効果的に組織化し、管理するために、ソフトウェア開発方法論をフレームワークに組み入れます。そこで我々は,ソフトウェア開発の分析,コーディング,テストの段階を担当する3つのLLMロール(アナリスト,コーダ,テスタ)からなる基本チームを編成する。様々なコード生成ベンチマークに関する総合的な実験を行う。実験の結果、LLMエージェントと比較して、自己協調コード生成は29.9%-47.1%のPass@1が比較的改善していることが示された。さらに, 自己協調により, 単一のLLMエージェントで簡単には解けない複雑なリポジトリレベルのタスクを, LLMが効率的に処理できる可能性が示された。

関連論文リスト

VisionCoder: Empowering Multi-Agent Auto-Programming for Image Processing with Hybrid LLMs [8.380216582290025]
本稿では,自動プログラミングタスクを協調的に完了するマルチエージェントフレームワークを提案する。各エージェントは、仮想組織をまとめて形成する、ソフトウェア開発サイクルにおいて、明確な役割を担います。このフレームワークは、プロジェクト、モジュール、ファンクションレベルにまたがるツリー構造化の思考分布と開発メカニズムを確立することで、コスト効率と効率的なソリューションを提供します。
論文参考訳（メタデータ） (2024-10-25T01:52:15Z)
BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文参考訳（メタデータ） (2024-06-22T15:52:04Z)
Multi-Agent Software Development through Cross-Team Collaboration [30.88149502999973]
ソフトウェア開発のためのスケーラブルなマルチチームフレームワークである、クロスチームコラボレーション(CTC)を紹介します。 CTCは、組織されたチームがさまざまな決定を共同で提案し、洞察とコミュニケーションすることを可能にする。その結果,最先端のベースラインに比べて品質が顕著に向上した。
論文参考訳（メタデータ） (2024-06-13T10:18:36Z)
Your Co-Workers Matter: Evaluating Collaborative Capabilities of Language Models in Blocks World [13.005764902339523]
2つのエージェントがそれぞれ独自の目標とスキルを持ち、ターゲット構造を一緒に構築するブロックワールド環境を設計する。目標を達成するために、彼らは世界で行動し、自然言語でコミュニケーションすることができる。パートナーの状態をモデル化し、実行エラーを特定し、修正するための中間的推論ステップを含む、チェーンオブ思想のプロンプトを採用しています。
論文参考訳（メタデータ） (2024-03-30T04:48:38Z)
Automatic Robotic Development through Collaborative Framework by Large Language Models [13.957351735394683]
本研究では,現実世界のロボット開発者からヒントを得た,革新的な自動コラボレーションフレームワークを提案する。このフレームワークは、異なる役割のアナリスト、プログラマ、テスタに複数のLLMを使用している。アナリストはユーザー要件を深く掘り下げ、プログラマが正確なコードを作成できるようにし、テスタはパラメータを微調整する。
論文参考訳（メタデータ） (2024-02-06T04:40:27Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
論文参考訳（メタデータ） (2023-12-28T13:50:42Z)
TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文参考訳（メタデータ） (2023-11-30T18:02:44Z)
Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文参考訳（メタデータ） (2023-09-30T07:11:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。