論文の概要: Enabling Programming Thinking in Large Language Models Toward Code Generation

• arxiv url: http://arxiv.org/abs/2305.06599v1
• Date: Thu, 11 May 2023 06:43:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 15:37:24.798281
• Title: Enabling Programming Thinking in Large Language Models Toward Code Generation
• Title（参考訳）: コード生成に向けた大規模言語モデルにおけるプログラミング思考の実現
• Authors: Jia Li, Ge Li, Yongmin Li, Zhi Jin
• Abstract要約: 大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。 本稿では,コード生成におけるLLMのプログラミング思考の解法について検討し,TiPというアプローチを提案する。
• 参考スコア（独自算出の注目度）: 37.50575759398011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) (e.g., ChatGPT) have shown impressive performance in code generation. A large-scale study released that writing programs requires programming thinking, i.e., analyzing and implementing requirements in programming logic (e.g., sequence, branch, loop). Existing studies use LLMs to generate programs from requirements directly and do not explicitly introduce the programming thinking. This paper explores how to unlock the programming thinking of LLMs in code generation and proposes an approach named TiP. Our idea is to decompose code generation into two steps and progressively lead LLMs to analyze&implement requirements in programming logic. Specifically, TiP first generates a code sketch, which provides a high-level solving process using programming logic but omits implementation details (e.g., APIs). Then, TiP implements the sketch into a program using specific programming languages. We conduct extensive experiments on three public benchmarks (i.e., HumanEval, MBPP, and MBCPP). (1) TiP outperforms the state-of-the-art baseline - ChatGPT by up to 17.5% in Pass@1, 11.02% in Pass@3, and 9.84% in Pass@5. (2) Human evaluation shows that TiP outperforms ChatGPT in three aspects (i.e., correctness, code quality, and maintainability). (3) TiP is effective for different LLMs. (4) We explore multiple choices (e.g., chain-of-thought) for the code sketch and validate the superiority of our design. (5) We discuss the complementarity between TiP and post-processing approaches (e.g., CodeT).
• Abstract（参考訳）: 大規模言語モデル(LLM)(例えばChatGPT)は、コード生成において顕著なパフォーマンスを示している。 プログラムを書くにはプログラミング思考、すなわちプログラミング論理(シーケンス、分岐、ループなど)の要求を分析し実装する必要があるという大規模な研究が発表された。 既存の研究では、LCMを使って要件からプログラムを直接生成し、プログラミング思考を明示的に導入していない。 本稿では,コード生成におけるLLMのプログラミング思考の解法について検討し,TiPというアプローチを提案する。 私たちのアイデアは、コード生成を2つのステップに分解し、徐々にllmをプログラミングロジックにおける要件の分析と実装へと導くことです。 具体的には、TiPはまずコードスケッチを生成し、プログラミングロジックを使用して高レベルな問題解決プロセスを提供するが、実装の詳細(APIなど)を省略する。 そして、TiPはそのスケッチを特定のプログラミング言語を使ってプログラムに実装する。 我々は3つの公開ベンチマーク(HumanEval、MBPP、MBCPP)で広範な実験を行う。 1) TiPは、Pass@1で17.5%、Pass@3で11.02%、Pass@5で9.84%、最先端のベースラインであるChatGPTを上回っている。 2) 人的評価の結果, TiP は ChatGPT を 3 つの側面(正しさ, コード品質, 保守性)で上回っている。 (3)TiPは異なるLDMに対して有効である。 (4) コードスケッチに対する複数の選択(例えば、チェーン・オブ・思想)を検討し、設計の優位性を検証する。 (5) TiP と後処理アプローチ(CodeT など)の相補性について議論する。

関連論文リスト

• CoCoP: Enhancing Text Classification with LLM through Code Completion Prompt [3.2047924365529026]
  本稿では,テキスト分類問題をコード補完タスクに変換するCode Completion Prompt (CoCoP)法を提案する。 CoCoPは、LLMのコード補完機能を利用することで、多様なデータセット間でのテキスト分類性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-11-13T19:12:02Z)
• InverseCoder: Unleashing the Power of Instruction-Tuned Code LLMs with Inverse-Instruct [43.7550233177368]
  本稿では,逆ではなくコードスニペットからの命令を要約したINVERSE-INSTRUCTを提案する。 InverseCoder というコード LLM のシリーズを提示する。これは、広範囲のベンチマークにおいて、元のコード LLM のパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2024-07-08T08:00:05Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Can Separators Improve Chain-of-Thought Prompting? [10.398343318429367]
  CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である 人間の認知にインスパイアされたCOT-SEP(COT-SEP)は,CoTプロンプトにおける各指数の最後にセパレータを戦略的に採用する手法である。
  論文  参考訳（メタデータ） (2024-02-16T12:46:16Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• A Prompt Learning Framework for Source Code Summarization [24.33455799484519]
  本稿では,PromptCSと呼ばれるコード要約のための新しいプロンプト学習フレームワークを提案する。 PromptCSは、コード要約においてLLMのポテンシャルを解放するために連続的なプロンプトを生成するプロンプトエージェントを訓練する。 複数のプログラミング言語を含むCodeSearchNetデータセット上でPromptCSを評価する。
  論文  参考訳（メタデータ） (2023-12-26T14:37:55Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。