論文の概要: Analyzing Prompt Influence on Automated Method Generation: An Empirical Study with Copilot

• arxiv url: http://arxiv.org/abs/2402.08430v1
• Date: Tue, 13 Feb 2024 12:58:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 15:15:09.460475
• Title: Analyzing Prompt Influence on Automated Method Generation: An Empirical Study with Copilot
• Title（参考訳）: 自動手法生成におけるプロンプトの影響分析:コパイロットを用いた実証研究
• Authors: Ionut Daniel Fagadau, Leonardo Mariani, Daniela Micucci and Oliviero Riganelli
• Abstract要約: 本研究では,8つのプロンプトがプロンプトのスタイルや内容,正確性,複雑性,サイズ,開発者コードとの類似度に与える影響について検討する。 結果から,実例の存在や目的の要約などの素早い特徴が,結果の質にどのように影響するかが示唆された。
• 参考スコア（独自算出の注目度）: 6.042269506496206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative AI is changing the way developers interact with software systems, providing services that can produce and deliver new content, crafted to satisfy the actual needs of developers. For instance, developers can ask for new code directly from within their IDEs by writing natural language prompts, and integrated services based on generative AI, such as Copilot, immediately respond to prompts by providing ready-to-use code snippets. Formulating the prompt appropriately, and incorporating the useful information while avoiding any information overload, can be an important factor in obtaining the right piece of code. The task of designing good prompts is known as prompt engineering. In this paper, we systematically investigate the influence of eight prompt features on the style and the content of prompts, on the level of correctness, complexity, size, and similarity to the developers' code of the generated code. We specifically consider the task of using Copilot with 124,800 prompts obtained by systematically combining the eight considered prompt features to generate the implementation of 200 Java methods. Results show how some prompt features, such as the presence of examples and the summary of the purpose of the method, can significantly influence the quality of the result.
• Abstract（参考訳）: ジェネレーティブAIは、開発者がソフトウェアシステムと対話する方法を変え、開発者の実際のニーズを満たすために作られた、新しいコンテンツを作成し、提供できるサービスを提供する。 例えば、開発者は自然言語プロンプトを書くことでIDEから直接新しいコードを要求することができ、Copilotのような生成AIに基づく統合されたサービスは、すぐに使えるコードスニペットを提供することで、プロンプトに応答する。 プロンプトを適切に定式化し、情報過負荷を避けながら有用な情報を組み込むことは、正しいコードを取得する上で重要な要素となる。 優れたプロンプトを設計するタスクは、プロンプトエンジニアリングと呼ばれる。 本稿では,8つのプロンプトがプロンプトのスタイルや内容,正確性,複雑性,サイズ,および生成したコードの開発者のコードとの類似度に与える影響を系統的に検討する。 具体的には、200のJavaメソッドの実装を生成するために、8つのプロンプトを体系的に組み合わせた124,800のプロンプトでCopilotを使用するタスクについて検討する。 結果は、例の存在やメソッドの目的の要約など、いくつかのプロンプト機能が結果の品質にどのように影響するかを示す。

関連論文リスト

• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
  プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。 特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。 我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
  論文  参考訳（メタデータ） (2024-03-13T20:32:32Z)
• Generating Java Methods: An Empirical Assessment of Four AI-Based Code Assistants [5.32539007352208]
  私たちは、人気のあるAIベースのコードアシスタントであるGitHub Copilot、Tabnine、ChatGPT、Google Bardの4つの有効性を評価します。 その結果、Copilotは他のテクニックよりも正確であることが多いが、他のアプローチによって完全に仮定されるアシスタントは存在しないことが判明した。
  論文  参考訳（メタデータ） (2024-02-13T12:59:20Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• How to Build an AI Tutor that Can Adapt to Any Course and Provide Accurate Answers Using Large Language Model and Retrieval-Augmented Generation [0.0]
  OpenAI Assistants APIにより、AI Tutorは、ファイルやチャット履歴を簡単に埋め込み、保存、検索、管理できる。 AI Tutorのプロトタイプは、ソースの引用で関連性があり正確な回答を生成する能力を示している。
  論文  参考訳（メタデータ） (2023-11-29T15:02:46Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• Promptly: Using Prompt Problems to Teach Learners How to Effectively Utilize AI Code Generators [5.458849730200646]
  本稿では,「プロンプト問題」として知られる新しい教育概念を紹介する。 プロンプト問題(英: Prompt Problem)は、学生が自然言語のプロンプトを作成し、LLMが特定の問題に対して正しいコードを生成するよう促す問題である。 Promptlyを初年度のPythonプログラミングコースに導入したフィールドスタディから経験的知見を報告する。
  論文  参考訳（メタデータ） (2023-07-31T01:46:42Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。