論文の概要: Measuring the Runtime Performance of Code Produced with GitHub Copilot
- arxiv url: http://arxiv.org/abs/2305.06439v1
- Date: Wed, 10 May 2023 20:14:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 09:03:22.283759
- Title: Measuring the Runtime Performance of Code Produced with GitHub Copilot
- Title(参考訳): GitHub Copilotで生成されたコードの実行時パフォーマンスを測定する
- Authors: Daniel Erhabor, Sreeharsha Udayashankar, Meiyappan Nagappan, Samer
Al-Kiswany
- Abstract要約: 開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
- 参考スコア(独自算出の注目度): 1.6021036144262577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GitHub Copilot is an artificially intelligent programming assistant used by
many developers. While a few studies have evaluated the security risks of using
Copilot, there has not been any study to show if it aids developers in
producing code with better runtime performance. We evaluate the runtime
performance of code produced when developers use GitHub Copilot versus when
they do not. To this end, we conducted a user study with 32 participants where
each participant solved two C++ programming problems, one with Copilot and the
other without it and measured the runtime performance of the participants'
solutions on our test data. Our results suggest that using Copilot may produce
code with a significantly slower runtime performance.
- Abstract(参考訳): github copilotは、多くの開発者が使っている人工知能によるプログラミングアシスタントである。
copilotを使用する際のセキュリティリスクを評価した研究はいくつかあるが、実行時のパフォーマンスが向上したコードを生成するのに役立つかどうかを示す調査は行われていない。
開発者がgithub copilotを使用する場合とそうでない場合のランタイムパフォーマンスを評価します。
そこで,被験者32名を対象に,copilotとcopilotを併用した2つのc++プログラミング問題を解いたユーザ調査を行い,テストデータに対する参加者のソリューションのランタイム性能を測定した。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
関連論文リスト
- Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot [46.822148186169144]
GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
論文 参考訳(メタデータ) (2024-02-02T14:30:02Z) - On the Concerns of Developers When Using GitHub Copilot [7.0620363951401925]
GitHub CopilotはAIベースのコード生成ツールで、自然言語処理を使用して提案と自動補完コードを生成する。
その人気にもかかわらず、Copilotで作業するソフトウェア開発者の実際の経験に関する実証的な証拠はほとんどない。
476のGitHubイシュー、706のGitHubディベート、および184のStack Overflowポストからデータを収集し、問題、問題の原因、Copilotを使用する際の問題を解決するソリューションを特定しました。
論文 参考訳(メタデータ) (2023-11-02T06:24:38Z) - Demystifying Practices, Challenges and Expected Features of Using GitHub
Copilot [3.655281304961642]
Stack Overflow(SO)とGitHubの議論からデータを収集し分析することで、実証的研究を行った。
私たちは、Copilotで使用されるプログラミング言語、技術、実装された関数、利点、制限、そしてCopilotを使用する際の課題を特定しました。
以上の結果から,Copilotの使用は二重刃の剣のようなもので,使用するかどうかを判断する際には,さまざまな側面を慎重に検討する必要があることが示唆された。
論文 参考訳(メタデータ) (2023-09-11T16:39:37Z) - Collaborative, Code-Proximal Dynamic Software Visualization within Code
Editors [55.57032418885258]
本稿では,コードエディタに組み込むソフトウェアビジュアライゼーション手法の設計と実装について紹介する。
私たちのコントリビューションは、ソフトウェアシステムの実行時の動作の動的解析を使用するという点で、関連する作業と異なります。
私たちの視覚化アプローチは、一般的なリモートペアプログラミングツールを強化し、共有コード都市を利用することで協調的に使用できます。
論文 参考訳(メタデータ) (2023-08-30T06:35:40Z) - A User-centered Security Evaluation of Copilot [12.350130201627186]
私たちはGitHubのCopilotを評価し、コードのセキュリティに関する長所と短所をよりよく理解しています。
Copilotへのアクセスは,難しい問題に対処する上で,よりセキュアなソリューションであることに気付きました。
論文 参考訳(メタデータ) (2023-08-12T14:49:46Z) - CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。
汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。
特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
論文 参考訳(メタデータ) (2023-06-05T20:39:08Z) - GitHub Copilot AI pair programmer: Asset or Liability? [14.572381978575182]
2つの異なるプログラミングタスクにおいて、Copilotの能力について検討する。
我々は、Copilotの提案したソリューションを、プログラミングタスクのセットにおける人間のプログラマのソリューションと比較する。
その結果、Copilotは、ほとんどすべての基本的なアルゴリズム問題に対するソリューションを提供することができることがわかった。
論文 参考訳(メタデータ) (2022-06-30T15:00:03Z) - Level 2 Autonomous Driving on a Single Device: Diving into the Devils of
Openpilot [112.21008828205409]
Comma.aiは、1台のカメラとボードを内蔵した999ドルのアフターマーケットデバイスがL2シナリオを処理する能力を持っていると主張している。
Comma.aiがリリースした全システムのオープンソースソフトウェアとともに、プロジェクトはOpenpilotと名付けられた。
このレポートでは、最新の知見を公開し、産業製品レベルでのエンドツーエンドの自動運転という、新たな視点について光を当てたいと思います。
論文 参考訳(メタデータ) (2022-06-16T13:43:52Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-06-04T22:01:05Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳(メタデータ) (2022-05-28T03:31:07Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳(メタデータ) (2021-08-20T17:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。