論文の概要: GitHub Copilot AI pair programmer: Asset or Liability?
- arxiv url: http://arxiv.org/abs/2206.15331v1
- Date: Thu, 30 Jun 2022 15:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 15:58:21.890393
- Title: GitHub Copilot AI pair programmer: Asset or Liability?
- Title（参考訳）: GitHub Copilot AIペアプログラマ:アセットか、責任か?
- Authors: Arghavan Moradi Dakhel, Vahid Majdinasab, Amin Nikanjam, Foutse Khomh,
Michel C. Desmarais, Zhen Ming (Jack) Jiang
- Abstract要約: 2つの異なるプログラミングタスクにおいて、Copilotの能力について検討する。
計算機科学における選択された基本問題の解法におけるCopilotの性能と機能を評価する。
その結果,Copilotの正解率はCopilotの正解比よりも大きく,Copilotが生成したバギー解は修復に要する労力が少なくなることがわかった。
- 参考スコア（独自算出の注目度）: 14.572381978575182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic program synthesis is a long-lasting dream in software engineering.
Recently, a promising Deep Learning (DL) based solution, called Copilot, has
been proposed by Open AI and Microsoft as an industrial product. Although some
studies evaluate the correctness of Copilot solutions and report its issues,
more empirical evaluations are necessary to understand how developers can
benefit from it effectively. In this paper, we study the capabilities of
Copilot in two different programming tasks: (1) generating (and reproducing)
correct and efficient solutions for fundamental algorithmic problems, and (2)
comparing Copilot's proposed solutions with those of human programmers on a set
of programming tasks. For the former, we assess the performance and
functionality of Copilot in solving selected fundamental problems in computer
science, like sorting and implementing basic data structures. In the latter, a
dataset of programming problems with human-provided solutions is used. The
results show that Copilot is capable of providing solutions for almost all
fundamental algorithmic problems, however, some solutions are buggy and
non-reproducible. Moreover, Copilot has some difficulties in combining multiple
methods to generate a solution. Comparing Copilot to humans, our results show
that the correct ratio of human solutions is greater than Copilot's correct
ratio, while the buggy solutions generated by Copilot require less effort to be
repaired. While Copilot shows limitations as an assistant for developers
especially in advanced programming tasks, as highlighted in this study and
previous ones, it can generate preliminary solutions for basic programming
tasks.
- Abstract（参考訳）: 自動プログラム合成は、ソフトウェア工学における長年の夢である。
最近、有望なディープラーニング(DL)ベースのソリューションであるCopilotが、産業製品としてOpen AIとMicrosoftによって提案されている。
Copilotソリューションの正しさを評価し,その問題を報告する研究もあるが,開発者のメリットを効果的に理解するには,より経験的な評価が必要である。
本稿では,Copilotのプログラミングタスクにおける能力について検討する。(1)アルゴリズムの基本問題に対する正解と効率解の生成と再現,(2)Cpilotの提案した解と,一連のプログラミングタスクにおける人間のプログラマの解との比較である。
前者に対しては,基本データ構造のソートや実装など,コンピュータ科学における選択された基本問題の解決におけるCopilotの性能と機能を評価する。
後者では、人間によるソリューションによるプログラミング問題のデータセットが使用される。
その結果、Copilotは、ほとんどすべての基本的なアルゴリズム問題に対するソリューションを提供することができるが、いくつかのソリューションはバグが多く再現できない。
さらに、Copilotはソリューションを生成するために複数のメソッドを組み合わせるのにいくつかの困難がある。
Copilotを人間と比較すると、人間の解の正解率はCopilotの正解比よりも大きいが、Copilotが生成したバギー解は修復に要する労力が少なくなる。
Copilotは、特に先進的なプログラミングタスクにおける開発者のアシスタントとして、特にこの研究で強調されたように、制限を示す一方で、基本的なプログラミングタスクの予備的なソリューションを生成することができる。
関連論文リスト
- Robotic warehousing operations: a learn-then-optimize approach to large-scale neighborhood search [84.39855372157616]
本稿では,ワークステーションの注文処理,アイテムポッドの割り当て,ワークステーションでの注文処理のスケジュールを最適化することで,ウェアハウジングにおけるロボット部品対ピッカー操作を支援する。
そこで我々は, 大規模近傍探索を用いて, サブプロブレム生成に対する学習を最適化する手法を提案する。
Amazon Roboticsと共同で、我々のモデルとアルゴリズムは、最先端のアプローチよりも、実用的な問題に対するより強力なソリューションを生み出していることを示す。
論文 参考訳（メタデータ） (2024-08-29T20:22:22Z) - GitHub Copilot: the perfect Code compLeeter? [3.708656266586145]
本稿では,GitHub Copilotが生成するコード品質をLeetCode問題セットに基づいて評価することを目的とする。
我々は、コード生成段階でのCopilotの信頼性、生成したコードの正確性、およびプログラミング言語への依存性を評価する。
論文 参考訳（メタデータ） (2024-06-17T08:38:29Z) - Learning Task Decomposition to Assist Humans in Competitive Programming [90.4846613669734]
タスク分解学習のための新しい目的,いわゆる値(AssistV)を導入する。
我々は、さまざまな分解されたソリューションに対して、人間の修理経験のデータセットを収集する。
人間の177時間以内の研究では、非専門家が33.3%の問題を解き、それらを3.3倍スピードアップさせ、無支援の専門家にマッチさせる権限を与える。
論文 参考訳（メタデータ） (2024-06-07T03:27:51Z) - Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot [46.822148186169144]
GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
論文 参考訳（メタデータ） (2024-02-02T14:30:02Z) - Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow [6.724815667295355]
AIプログラマペアであるGitHub Copilotは、コードスニペットの大規模なコーパスでトレーニングされた機械学習モデルを使用して、コード提案を生成する。
ソフトウェア開発で人気があるにもかかわらず、Copilotと仕事をする実践者の実際の経験に関する実証的な証拠は限られている。
473のGitHubイシュー、706のGitHubディスカッション、142のStack Overflowポストからデータを収集しました。
論文 参考訳（メタデータ） (2023-11-02T06:24:38Z) - Demystifying Practices, Challenges and Expected Features of Using GitHub
Copilot [3.655281304961642]
Stack Overflow(SO)とGitHubの議論からデータを収集し分析することで、実証的研究を行った。
私たちは、Copilotで使用されるプログラミング言語、技術、実装された関数、利点、制限、そしてCopilotを使用する際の課題を特定しました。
以上の結果から,Copilotの使用は二重刃の剣のようなもので,使用するかどうかを判断する際には,さまざまな側面を慎重に検討する必要があることが示唆された。
論文 参考訳（メタデータ） (2023-09-11T16:39:37Z) - Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow [49.724842920942024]
金融、気象学、エネルギーといった産業は毎日大量のデータを生み出している。
本研究では,データ分析エージェントであるData-Copilotを提案する。
論文 参考訳（メタデータ） (2023-06-12T16:12:56Z) - Let the Flows Tell: Solving Graph Combinatorial Optimization Problems
with GFlowNets [86.43523688236077]
組合せ最適化(CO)問題はしばしばNPハードであり、正確なアルゴリズムには及ばない。
GFlowNetsは、複合非正規化密度を逐次サンプリングする強力な機械として登場した。
本稿では,異なる問題に対してマルコフ決定プロセス(MDP)を設計し,条件付きGFlowNetを学習して解空間からサンプルを作成することを提案する。
論文 参考訳（メタデータ） (2023-05-26T15:13:09Z) - Measuring the Runtime Performance of Code Produced with GitHub Copilot [1.6021036144262577]
開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
論文 参考訳（メタデータ） (2023-05-10T20:14:52Z) - Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
Problems Using Natural Language [3.155277175705079]
GitHub Copilotは、自然言語の問題記述からソースコードを自動的に生成する人工知能モデルである。
2022年6月以降、CopilotはVisual Studio Codeのような開発環境へのプラグインとして、学生全員に無料で提供されるようになった。
論文 参考訳（メタデータ） (2022-10-27T03:48:24Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳（メタデータ） (2022-02-08T23:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。