論文の概要: Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language

• arxiv url: http://arxiv.org/abs/2210.15157v1
• Date: Thu, 27 Oct 2022 03:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 15:05:47.378230
• Title: Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language
• Title（参考訳）: copilotとの会話: 自然言語を用いたcs1問題解決のためのプロンプトエンジニアリングの検討
• Authors: Paul Denny and Viraj Kumar and Nasser Giacaman
• Abstract要約: GitHub Copilotは、自然言語の問題記述からソースコードを自動的に生成する人工知能モデルである。 2022年6月以降、CopilotはVisual Studio Codeのような開発環境へのプラグインとして、学生全員に無料で提供されるようになった。
• 参考スコア（独自算出の注目度）: 3.155277175705079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GitHub Copilot is an artificial intelligence model for automatically generating source code from natural language problem descriptions. Since June 2022, Copilot has officially been available for free to all students as a plug-in to development environments like Visual Studio Code. Prior work exploring OpenAI Codex, the underlying model that powers Copilot, has shown it performs well on typical CS1 problems thus raising concerns about the impact it will have on how introductory programming courses are taught. However, little is known about the types of problems for which Copilot does not perform well, or about the natural language interactions that a student might have with Copilot when resolving errors. We explore these questions by evaluating the performance of Copilot on a publicly available dataset of 166 programming problems. We find that it successfully solves around half of these problems on its very first attempt, and that it solves 60\% of the remaining problems using only natural language changes to the problem description. We argue that this type of prompt engineering, which we believe will become a standard interaction between human and Copilot when it initially fails, is a potentially useful learning activity that promotes computational thinking skills, and is likely to change the nature of code writing skill development.
• Abstract（参考訳）: GitHub Copilotは、自然言語の問題記述からソースコードを自動的に生成する人工知能モデルである。 2022年6月以降、CopilotはVisual Studio Codeのような開発環境へのプラグインとして、すべての学生に無料で提供されている。 Copilotの基盤となるモデルであるOpenAI Codexを探索する以前の作業は、典型的なCS1問題に対してうまく機能していることを示しており、導入プログラミングコースの教育方法に対する影響に対する懸念を提起している。 しかし、Copilotがうまく機能しない問題の種類や、エラーを解決する際に学生がCopilotと持つ自然言語の相互作用についてはほとんど知られていない。 本稿では,166のプログラム問題の公開データセット上で,copilotのパフォーマンスを評価することにより,これらの疑問を考察する。 最初の試みで、これらの問題の約半分をうまく解決し、問題記述に対する自然言語の変更だけで、残りの問題の60%を解決していることがわかった。 この種のプロンプトエンジニアリングは、最初に失敗すれば人間とコピロットの間の標準的なインタラクションになると信じており、計算思考スキルを促進する潜在的に有用な学習活動であり、コード記述スキル開発の性質を変える可能性がある。

関連論文リスト

• Exploring the Effect of Multiple Natural Languages on Code Suggestion Using GitHub Copilot [46.822148186169144]
  GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。 最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。 しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
  論文  参考訳（メタデータ） (2024-02-02T14:30:02Z)
• Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow [6.724815667295355]
  AIプログラマペアであるGitHub Copilotは、コードスニペットの大規模なコーパスでトレーニングされた機械学習モデルを使用して、コード提案を生成する。 ソフトウェア開発で人気があるにもかかわらず、Copilotと仕事をする実践者の実際の経験に関する実証的な証拠は限られている。 473のGitHubイシュー、706のGitHubディスカッション、142のStack Overflowポストからデータを収集しました。
  論文  参考訳（メタデータ） (2023-11-02T06:24:38Z)
• SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
  SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。 我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
  論文  参考訳（メタデータ） (2023-10-10T16:47:29Z)
• Demystifying Practices, Challenges and Expected Features of Using GitHub Copilot [3.655281304961642]
  Stack Overflow(SO)とGitHubの議論からデータを収集し分析することで、実証的研究を行った。 私たちは、Copilotで使用されるプログラミング言語、技術、実装された関数、利点、制限、そしてCopilotを使用する際の課題を特定しました。 以上の結果から,Copilotの使用は二重刃の剣のようなもので,使用するかどうかを判断する際には,さまざまな側面を慎重に検討する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-09-11T16:39:37Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• Human-guided Collaborative Problem Solving: A Natural Language based Framework [74.27063862727849]
  私たちのフレームワークは3つのコンポーネントで構成されています - 自然言語エンジンが言語発話を形式表現と逆変換に解析します。 このフレームワークが、Minecraftベースのブロックワールドドメインにおける協調的なビルディングタスクにおいて、協調的な問題解決の鍵となる課題に対処する能力について説明する。
  論文  参考訳（メタデータ） (2022-07-19T21:52:37Z)
• GitHub Copilot AI pair programmer: Asset or Liability? [14.572381978575182]
  2つの異なるプログラミングタスクにおいて、Copilotの能力について検討する。 我々は、Copilotの提案したソリューションを、プログラミングタスクのセットにおける人間のプログラマのソリューションと比較する。 その結果、Copilotは、ほとんどすべての基本的なアルゴリズム問題に対するソリューションを提供することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T15:00:03Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)
• An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions [8.285068188878578]
  GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。 コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。 これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
  論文  参考訳（メタデータ） (2021-08-20T17:30:33Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。