Fugu-MT 論文翻訳(概要): Measuring the Runtime Performance of Code Produced with GitHub Copilot

論文の概要: Measuring the Runtime Performance of Code Produced with GitHub Copilot

arxiv url: http://arxiv.org/abs/2305.06439v1
Date: Wed, 10 May 2023 20:14:52 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 09:03:22.283759
Title: Measuring the Runtime Performance of Code Produced with GitHub Copilot
Title（参考訳）: GitHub Copilotで生成されたコードの実行時パフォーマンスを測定する
Authors: Daniel Erhabor, Sreeharsha Udayashankar, Meiyappan Nagappan, Samer Al-Kiswany
Abstract要約: 開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
参考スコア（独自算出の注目度）: 1.6021036144262577
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: GitHub Copilot is an artificially intelligent programming assistant used by many developers. While a few studies have evaluated the security risks of using Copilot, there has not been any study to show if it aids developers in producing code with better runtime performance. We evaluate the runtime performance of code produced when developers use GitHub Copilot versus when they do not. To this end, we conducted a user study with 32 participants where each participant solved two C++ programming problems, one with Copilot and the other without it and measured the runtime performance of the participants' solutions on our test data. Our results suggest that using Copilot may produce code with a significantly slower runtime performance.
Abstract（参考訳）: github copilotは、多くの開発者が使っている人工知能によるプログラミングアシスタントである。 copilotを使用する際のセキュリティリスクを評価した研究はいくつかあるが、実行時のパフォーマンスが向上したコードを生成するのに役立つかどうかを示す調査は行われていない。開発者がgithub copilotを使用する場合とそうでない場合のランタイムパフォーマンスを評価します。そこで,被験者32名を対象に,copilotとcopilotを併用した2つのc++プログラミング問題を解いたユーザ調査を行い,テストデータに対する参加者のソリューションのランタイム性能を測定した。結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。

関連論文リスト

Copilot Arena: A Platform for Code LLM Evaluation in the Wild [44.33771124408514]
Copilot Arenaは、開発者の作業環境へのネイティブ統合を通じて、コード生成のユーザの好みを収集するプラットフォームである。 Copilot Arenaは10のモデルから450万以上の提案を出し、1万1000以上のペアワイドの判断を集めた。
論文参考訳（メタデータ） (2025-02-13T13:40:52Z)
KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
論文参考訳（メタデータ） (2024-07-02T21:44:22Z)
GitHub Copilot: the perfect Code compLeeter? [3.708656266586145]
本稿では,GitHub Copilotが生成するコード品質をLeetCode問題セットに基づいて評価することを目的とする。我々は、コード生成段階でのCopilotの信頼性、生成したコードの正確性、およびプログラミング言語への依存性を評価する。
論文参考訳（メタデータ） (2024-06-17T08:38:29Z)
Exploring the Effect of Multiple Natural Languages on Code Suggestion Using GitHub Copilot [46.822148186169144]
GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
論文参考訳（メタデータ） (2024-02-02T14:30:02Z)
Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow [6.724815667295355]
AIプログラマペアであるGitHub Copilotは、コードスニペットの大規模なコーパスでトレーニングされた機械学習モデルを使用して、コード提案を生成する。ソフトウェア開発で人気があるにもかかわらず、Copilotと仕事をする実践者の実際の経験に関する実証的な証拠は限られている。 473のGitHubイシュー、706のGitHubディスカッション、142のStack Overflowポストからデータを収集しました。
論文参考訳（メタデータ） (2023-11-02T06:24:38Z)
Demystifying Practices, Challenges and Expected Features of Using GitHub Copilot [3.655281304961642]
Stack Overflow(SO)とGitHubの議論からデータを収集し分析することで、実証的研究を行った。私たちは、Copilotで使用されるプログラミング言語、技術、実装された関数、利点、制限、そしてCopilotを使用する際の課題を特定しました。以上の結果から,Copilotの使用は二重刃の剣のようなもので,使用するかどうかを判断する際には,さまざまな側面を慎重に検討する必要があることが示唆された。
論文参考訳（メタデータ） (2023-09-11T16:39:37Z)
Collaborative, Code-Proximal Dynamic Software Visualization within Code Editors [55.57032418885258]
本稿では,コードエディタに組み込むソフトウェアビジュアライゼーション手法の設計と実装について紹介する。私たちのコントリビューションは、ソフトウェアシステムの実行時の動作の動的解析を使用するという点で、関連する作業と異なります。私たちの視覚化アプローチは、一般的なリモートペアプログラミングツールを強化し、共有コード都市を利用することで協調的に使用できます。
論文参考訳（メタデータ） (2023-08-30T06:35:40Z)
GitHub Copilot AI pair programmer: Asset or Liability? [14.572381978575182]
2つの異なるプログラミングタスクにおいて、Copilotの能力について検討する。我々は、Copilotの提案したソリューションを、プログラミングタスクのセットにおける人間のプログラマのソリューションと比較する。その結果、Copilotは、ほとんどすべての基本的なアルゴリズム問題に対するソリューションを提供することができることがわかった。
論文参考訳（メタデータ） (2022-06-30T15:00:03Z)
Level 2 Autonomous Driving on a Single Device: Diving into the Devils of Openpilot [112.21008828205409]
Comma.aiは、1台のカメラとボードを内蔵した999ドルのアフターマーケットデバイスがL2シナリオを処理する能力を持っていると主張している。 Comma.aiがリリースした全システムのオープンソースソフトウェアとともに、プロジェクトはOpenpilotと名付けられた。このレポートでは、最新の知見を公開し、産業製品レベルでのエンドツーエンドの自動運転という、新たな視点について光を当てたいと思います。
論文参考訳（メタデータ） (2022-06-16T13:43:52Z)
An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文参考訳（メタデータ） (2021-08-20T17:30:33Z)
Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。