論文の概要: Improving ChatGPT Prompt for Code Generation

• arxiv url: http://arxiv.org/abs/2305.08360v1
• Date: Mon, 15 May 2023 05:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 08:41:54.918804
• Title: Improving ChatGPT Prompt for Code Generation
• Title（参考訳）: コード生成のためのChatGPTプロンプトの改善
• Authors: Chao Liu, Xuanlin Bao, Hongyu Zhang, Neng Zhang, Haibo Hu, Xiaohong Zhang, Meng Yan
• Abstract要約: OpenAIの言語モデルChatGPTは、幅広いテキスト入力に対するヒューマンライクな応答を生成する強力なツールとして登場した。 テキスト・ツー・コード生成とコード・ツー・コード生成を含む2つのコード生成タスクにおけるChatGPTの機能を評価する。 その結果,ChatGPTをガイドするプロンプトを慎重に設計することで,生成性能を大幅に向上できることがわかった。
• 参考スコア（独自算出の注目度）: 13.303599826870705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated code generation can be a powerful technique for software development, significantly reducing developers' efforts and time required to create new code by generating it automatically based on requirements. Recently, OpenAI's language model ChatGPT has emerged as a powerful tool for generating human-like responses to a wide range of textual inputs (i.e., prompts), including those related to code generation. However, the effectiveness of ChatGPT for code generation is not well understood, and the generation performance could be heavily influenced by the choice of prompt. To answer these questions, we conducted experiments using the CodeXGlue dataset to evaluate ChatGPT's capabilities for two code generation tasks, including text-to-code and code-to-code generation. We designed prompts by leveraging the chain-of-thought strategy with multi-step optimizations. Our results showed that by carefully designing prompts to guide ChatGPT, the generation performance can be improved substantially. We also analyzed the factors that influenced the prompt design and provided insights that could guide future research.
• Abstract（参考訳）: 自動コード生成はソフトウェア開発の強力なテクニックであり、要求に基づいて自動生成することで、開発者が新しいコードを作成するのに必要な時間と労力を大幅に削減する。 最近、OpenAIの言語モデルChatGPTは、コード生成に関連するものを含む幅広いテキスト入力(即ちプロンプト)に対するヒューマンライクな応答を生成する強力なツールとして登場した。 しかし、コード生成におけるchatgptの有効性はよく分かっておらず、生成性能はプロンプトの選択に大きく影響される可能性がある。 これらの質問に答えるために、私たちはCodeXGlueデータセットを用いて、2つのコード生成タスクにおけるChatGPTの機能を評価する実験を行った。 マルチステップ最適化によるチェーン・オブ・シント戦略を活用することで,プロンプトを設計した。 その結果,ChatGPTをガイドするプロンプトを慎重に設計することで,生成性能を大幅に向上できることがわかった。 また,迅速な設計に影響を与える要因を分析し,今後の研究の指針となる洞察を提供した。

関連論文リスト

• You Augment Me: Exploring ChatGPT-based Data Augmentation for Semantic Code Search [47.54163552754051]
  コード検索はソフトウェア開発において重要な役割を担い、開発者は自然言語クエリを使ってコードを検索し再利用することができる。 近年,大規模言語モデル (LLM) は自然言語の理解と生成において顕著な進歩を遂げている。 本稿では,大規模言語モデルによって生成された高品質で多様な拡張データを利用する新しいアプローチChatDANCEを提案する。
  論文  参考訳（メタデータ） (2024-08-10T12:51:21Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study [0.0]
  最先端の言語モデルであるChatGPTは、様々な自然言語処理タスクにおいて印象的なパフォーマンスを示している。 コードレビュータスクにおけるChatGPTの機能を理解するための実証的研究を行った。 その結果,ChatGPTは高いEMとBLEUのスコアを22.78と76.44で達成し,最先端のコードレビューデータセットでは15.50と62.88しか達成していないことがわかった。
  論文  参考訳（メタデータ） (2023-09-15T07:41:33Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT [28.68768157452352]
  本稿では,ChatGPTを用いたコード生成の質について検討する。 私たちは5つの言語(C、C++、Java、Python、JavaScript)で728のアルゴリズム問題と、コード生成タスクの54のコードシナリオを持つ18のCWEを活用しています。 この結果から,ChatGPTベースのコード生成に生じる潜在的な問題や限界が明らかになった。
  論文  参考訳（メタデータ） (2023-08-09T10:01:09Z)
• Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
  本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。 この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
  論文  参考訳（メタデータ） (2023-07-10T08:20:34Z)
• Think Outside the Code: Brainstorming Boosts Large Language Models in Code Generation [9.904734169174356]
  本稿では,コード生成のためのBrainstormフレームワークを紹介する。 ブレインストーミングのステップを利用して、問題に関するさまざまな思考を生成し、選択する。 Brainstormは、LLMが競合レベルのプログラミング問題を解決する能力を大幅に強化する。
  論文  参考訳（メタデータ） (2023-05-18T03:32:54Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。