論文の概要: Think Outside the Code: Brainstorming Boosts Large Language Models in
Code Generation
- arxiv url: http://arxiv.org/abs/2305.10679v1
- Date: Thu, 18 May 2023 03:32:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 17:12:38.812158
- Title: Think Outside the Code: Brainstorming Boosts Large Language Models in
Code Generation
- Title(参考訳): コードの外で考える:ブレインストーミングはコード生成において大きな言語モデルを増やす
- Authors: Xin-Ye Li, Jiang-Tian Xue, Zheng Xie and Ming Li
- Abstract要約: 本稿では,コード生成のためのBrainstormフレームワークを紹介する。
ブレインストーミングのステップを利用して、問題に関するさまざまな思考を生成し、選択する。
Brainstormは、LLMが競合レベルのプログラミング問題を解決する能力を大幅に強化する。
- 参考スコア(独自算出の注目度): 9.904734169174356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code generation aims to automatically generate source code from high-level
task specifications, which can significantly increase productivity of software
engineering. Recently, approaches based on large language models (LLMs) have
shown remarkable code generation abilities on simple tasks. However, generate
code for more complex tasks, such as competition-level problems, remains
challenging. In this paper, we introduce Brainstorm framework for code
generation. It leverages a brainstorming step that generates and selects
diverse thoughts on the problem to facilitate algorithmic reasoning, where the
thoughts are possible blueprint of solving the problem. We demonstrate that
Brainstorm significantly enhances the ability of LLMs to solve
competition-level programming problems, resulting in a more than 50% increase
in the pass@$k$ metrics for ChatGPT on the CodeContests benchmark, achieving
state-of-the-art performance. Furthermore, our experiments conducted on
LeetCode contests show that our framework boosts the ability of ChatGPT to a
level comparable to that of human programmers.
- Abstract(参考訳): コード生成は、高レベルのタスク仕様からソースコードを自動的に生成することを目的としている。
近年、大規模言語モデル(llms)に基づくアプローチは、単純なタスクで素晴らしいコード生成能力を示している。
しかし、競争レベルの問題など、より複雑なタスクのためのコードを生成することは依然として困難である。
本稿では,コード生成のためのBrainstormフレームワークを紹介する。
ブレインストーミングのステップを利用して、問題に関するさまざまな思考を生成し、選択し、アルゴリズムによる推論を促進する。
我々は、brainstormが競合レベルのプログラミング問題を解決するためのllmの能力を大幅に向上させ、codecontestsベンチマークでchatgptのpass@$k$メトリックを50%以上増加させ、最先端のパフォーマンスを達成することを実証した。
さらに、LeetCodeコンテストで実施した実験により、我々のフレームワークは、ChatGPTの能力を人間のプログラマに匹敵するレベルまで引き上げることを示した。
関連論文リスト
- StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - MoTCoder: Elevating Large Language Models with Modular of Thought for
Challenging Programming Tasks [60.54009036297301]
本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。
調査の結果,MoTCoderはサブモジュールの栽培と利用を通じて,生成したソリューションのモジュラリティと正しさの両方を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-12-26T08:49:57Z) - CoLadder: Supporting Programmers with Hierarchical Code Generation in
Multi-Level Abstraction [16.325032481071997]
CoLadderは、階層的なタスク分解、直接コードセグメント操作、結果評価を容易にすることで、プログラマをサポートするシステムである。
12人の経験豊富なプログラマによるユーザスタディでは、CoLadderがプログラマの問題解決意図を柔軟に外部化するのに有効であることが示された。
論文 参考訳(メタデータ) (2023-10-12T20:07:01Z) - Benchmarking and Explaining Large Language Model-based Code Generation:
A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。
本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。
我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文 参考訳(メタデータ) (2023-10-10T14:56:26Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - Large Language Models Should Ask Clarifying Questions to Increase
Confidence in Generated Code [0.7252027234425334]
大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。
LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。
本稿では,LLM生成コミュニケータを用いて,問題記述や生成されたコードに対する曖昧さや信頼性の低い問題を識別する通信中心プロセスを提案する。
論文 参考訳(メタデータ) (2023-08-25T17:33:05Z) - No Need to Lift a Finger Anymore? Assessing the Quality of Code
Generation by ChatGPT [28.68768157452352]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにまたがる印象的な機能を示している。
本研究では,ChatGPTを用いたコード生成の系統的経験的評価を行う。
論文 参考訳(メタデータ) (2023-08-09T10:01:09Z) - Improving ChatGPT Prompt for Code Generation [13.303599826870705]
OpenAIの言語モデルChatGPTは、幅広いテキスト入力に対するヒューマンライクな応答を生成する強力なツールとして登場した。
テキスト・ツー・コード生成とコード・ツー・コード生成を含む2つのコード生成タスクにおけるChatGPTの機能を評価する。
その結果,ChatGPTをガイドするプロンプトを慎重に設計することで,生成性能を大幅に向上できることがわかった。
論文 参考訳(メタデータ) (2023-05-15T05:37:33Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳(メタデータ) (2023-05-13T14:23:07Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳(メタデータ) (2022-02-08T23:16:31Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。