論文の概要: Enabling Programming Thinking in Large Language Models Toward Code
Generation
- arxiv url: http://arxiv.org/abs/2305.06599v1
- Date: Thu, 11 May 2023 06:43:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 15:37:24.798281
- Title: Enabling Programming Thinking in Large Language Models Toward Code
Generation
- Title(参考訳): コード生成に向けた大規模言語モデルにおけるプログラミング思考の実現
- Authors: Jia Li, Ge Li, Yongmin Li, Zhi Jin
- Abstract要約: 大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。
本稿では,コード生成におけるLLMのプログラミング思考の解法について検討し,TiPというアプローチを提案する。
- 参考スコア(独自算出の注目度): 37.50575759398011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) (e.g., ChatGPT) have shown impressive
performance in code generation. A large-scale study released that writing
programs requires programming thinking, i.e., analyzing and implementing
requirements in programming logic (e.g., sequence, branch, loop). Existing
studies use LLMs to generate programs from requirements directly and do not
explicitly introduce the programming thinking.
This paper explores how to unlock the programming thinking of LLMs in code
generation and proposes an approach named TiP. Our idea is to decompose code
generation into two steps and progressively lead LLMs to analyze&implement
requirements in programming logic. Specifically, TiP first generates a code
sketch, which provides a high-level solving process using programming logic but
omits implementation details (e.g., APIs). Then, TiP implements the sketch into
a program using specific programming languages. We conduct extensive
experiments on three public benchmarks (i.e., HumanEval, MBPP, and MBCPP). (1)
TiP outperforms the state-of-the-art baseline - ChatGPT by up to 17.5% in
Pass@1, 11.02% in Pass@3, and 9.84% in Pass@5. (2) Human evaluation shows that
TiP outperforms ChatGPT in three aspects (i.e., correctness, code quality, and
maintainability). (3) TiP is effective for different LLMs. (4) We explore
multiple choices (e.g., chain-of-thought) for the code sketch and validate the
superiority of our design. (5) We discuss the complementarity between TiP and
post-processing approaches (e.g., CodeT).
- Abstract(参考訳): 大規模言語モデル(LLM)(例えばChatGPT)は、コード生成において顕著なパフォーマンスを示している。
プログラムを書くにはプログラミング思考、すなわちプログラミング論理(シーケンス、分岐、ループなど)の要求を分析し実装する必要があるという大規模な研究が発表された。
既存の研究では、LCMを使って要件からプログラムを直接生成し、プログラミング思考を明示的に導入していない。
本稿では,コード生成におけるLLMのプログラミング思考の解法について検討し,TiPというアプローチを提案する。
私たちのアイデアは、コード生成を2つのステップに分解し、徐々にllmをプログラミングロジックにおける要件の分析と実装へと導くことです。
具体的には、TiPはまずコードスケッチを生成し、プログラミングロジックを使用して高レベルな問題解決プロセスを提供するが、実装の詳細(APIなど)を省略する。
そして、TiPはそのスケッチを特定のプログラミング言語を使ってプログラムに実装する。
我々は3つの公開ベンチマーク(HumanEval、MBPP、MBCPP)で広範な実験を行う。
1) TiPは、Pass@1で17.5%、Pass@3で11.02%、Pass@5で9.84%、最先端のベースラインであるChatGPTを上回っている。
2) 人的評価の結果, TiP は ChatGPT を 3 つの側面(正しさ, コード品質, 保守性)で上回っている。
(3)TiPは異なるLDMに対して有効である。
(4) コードスケッチに対する複数の選択(例えば、チェーン・オブ・思想)を検討し、設計の優位性を検証する。
(5) TiP と後処理アプローチ(CodeT など)の相補性について議論する。
関連論文リスト
- Can Separators Improve Chain-of-Thought Prompting? [11.155820558660245]
CoTプロンプトは、大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である。
人間の認知にインスパイアされたCoT-Sepは,CoTプロンプトにおける各例の最後にセパレータを戦略的に活用する新しい手法である。
論文 参考訳(メタデータ) (2024-02-16T12:46:16Z) - Chain-of-Thought Reasoning Without Prompting [48.351650919819456]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練されたLCMから引き出すことができる。
我々は、デコードパスにおけるCoTの存在は、モデルのデコードされた回答に対する高い信頼と相関していることを観察する。
論文 参考訳(メタデータ) (2024-02-15T18:55:41Z) - CodeMind: A Framework to Challenge Large Language Models for Code
Reasoning [1.644043499620662]
大規模言語モデル(LLM)のコード推論能力を評価するために設計されたフレームワークであるCodeMindを紹介する。
CodeMindは、Independent Execution Reasoning (IER)、Dependent Execution Reasoning (DER)、Specification Reasoning (SR)の3つのコード推論タスクをサポートしている。
論文 参考訳(メタデータ) (2024-02-15T02:24:46Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [69.99031792995348]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - A Prompt Learning Framework for Source Code Summarization [24.33455799484519]
本稿では,PromptCSと呼ばれるコード要約のための新しいプロンプト学習フレームワークを提案する。
PromptCSは、コード要約においてLLMのポテンシャルを解放するために連続的なプロンプトを生成するプロンプトエージェントを訓練する。
複数のプログラミング言語を含むCodeSearchNetデータセット上でPromptCSを評価する。
論文 参考訳(メタデータ) (2023-12-26T14:37:55Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-17T17:26:50Z) - Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for
Code Generation [22.219645213202178]
本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。
本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-10-16T05:09:58Z) - Exploring Continual Learning for Code Generation Models [80.78036093054855]
継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。
コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。
即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
論文 参考訳(メタデータ) (2023-07-05T16:58:39Z) - LMs: Understanding Code Syntax and Semantics for Code Analysis [25.508254718438636]
我々は,大規模言語モデル(LLM)の機能と,ソフトウェア工学におけるコード解析の限界を評価する。
GPT4, GPT3.5, StarCoder, CodeLlama-13b-インストラクトという,最先端の4つの基礎モデルを採用している。
論文 参考訳(メタデータ) (2023-05-20T08:43:49Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳(メタデータ) (2023-05-13T14:23:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。