論文の概要: On the Concerns of Developers When Using GitHub Copilot
- arxiv url: http://arxiv.org/abs/2311.01020v1
- Date: Thu, 2 Nov 2023 06:24:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 14:42:34.201435
- Title: On the Concerns of Developers When Using GitHub Copilot
- Title（参考訳）: GitHub Copilotを使用する開発者の懸念について
- Authors: Xiyu Zhou, Peng Liang, Beiqi Zhang, Zengyang Li, Aakash Ahmad, Mojtaba
Shahin, Muhammad Waseem
- Abstract要約: GitHub CopilotはAIベースのコード生成ツールで、自然言語処理を使用して提案と自動補完コードを生成する。
その人気にもかかわらず、Copilotで作業するソフトウェア開発者の実際の経験に関する実証的な証拠はほとんどない。
476のGitHubイシュー、706のGitHubディベート、および184のStack Overflowポストからデータを収集し、問題、問題の原因、Copilotを使用する際の問題を解決するソリューションを特定しました。
- 参考スコア（独自算出の注目度）: 7.0620363951401925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the recent advancement of Artificial Intelligence (AI) and the emergence
of Large Language Models (LLMs), AI-based code generation tools have achieved
significant progress and become a practical solution for software development.
GitHub Copilot, referred to as AI pair programmer, utilizes machine learning
models that are trained on a large corpus of code snippets to generate code
suggestions or auto-complete code using natural language processing. Despite
its popularity, there is little empirical evidence on the actual experiences of
software developers who work with Copilot. To this end, we conducted an
empirical study to understand the issues and challenges that developers face
when using Copilot in practice, as well as their underlying causes and
potential solutions. We collected data from 476 GitHub issues, 706 GitHub
discussions, and 184 Stack Overflow posts, and identified the issues, causes
that trigger the issues, and solutions that resolve the issues when using
Copilot. Our results reveal that (1) Usage Issue and Compatibility Issue are
the most common problems faced by Copilot users, (2) Copilot Internal Issue,
Network Connection Issue, and Editor/IDE Compatibility Issue are identified as
the most frequent causes, and (3) Bug Fixed by Copilot, Modify
Configuration/Setting, and Use Suitable Version are the predominant solutions.
Based on the results, we delve into the main challenges users encounter when
implementing Copilot in practical development, the possible impact of Copilot
on the coding process, aspects in which Copilot can be further enhanced, and
potential new features desired by Copilot users.
- Abstract（参考訳）: 人工知能(AI)の最近の進歩とLarge Language Models(LLM)の出現により、AIベースのコード生成ツールは大きな進歩を遂げ、ソフトウェア開発の実用的なソリューションとなった。
AIペアプログラマと呼ばれるGitHub Copilotは、大量のコードスニペットでトレーニングされた機械学習モデルを使用して、自然言語処理を使用してコード提案や自動補完コードを生成する。
その人気にもかかわらず、Copilotで作業するソフトウェア開発者の実際の経験に関する実証的な証拠はほとんどない。
そこで我々は,copilotを実際に使用する際に開発者が直面する問題や課題,その根本的な原因や潜在的な解決策を理解するために,実証的な調査を行った。
476のGitHubイシュー、706のGitHubディベート、および184のStack Overflowポストからデータを収集し、問題、問題の原因、Copilotを使用する際の問題を解決するソリューションを特定しました。
その結果,(1)コパイロット利用者が直面する最も一般的な問題である利用問題,(2)コパイロット内部問題,ネットワーク接続問題,およびエディタ/IDE互換性問題が最も頻繁な原因として認識され,(3)コパイロットによるバグの修正,設定・設定,利用適バージョンなどが主な解決法であることがわかった。
結果に基づいて、実践的な開発でCopilotを実装する際にユーザが直面する主な課題、Copilotがコーディングプロセスに与える影響の可能性、Copilotをさらに拡張可能な側面、そしてCopilotユーザが望んでいる潜在的な新機能について調べる。
関連論文リスト
- Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - OS-Copilot: Towards Generalist Computer Agents with Self-Improvement [48.29860831901484]
オペレーティングシステム(OS)の包括的要素と対話可能な汎用エージェントを構築するためのフレームワークであるOS-Copilotを紹介する。
我々はOS-Copilotを使って、汎用コンピュータタスクを自動化する自己改善型実施エージェントであるFRIDAYを開発した。
一般的なAIアシスタントのベンチマークであるGAIAでは、FRIDAYが従来の手法を35%上回り、以前のタスクから蓄積したスキルを通じて、目に見えないアプリケーションへの強力な一般化を示している。
論文 参考訳（メタデータ） (2024-02-12T07:29:22Z) - Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot [46.822148186169144]
GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
論文 参考訳（メタデータ） (2024-02-02T14:30:02Z) - SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。
我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
論文 参考訳（メタデータ） (2023-10-10T16:47:29Z) - Demystifying Practices, Challenges and Expected Features of Using GitHub
Copilot [3.655281304961642]
Stack Overflow(SO)とGitHubの議論からデータを収集し分析することで、実証的研究を行った。
私たちは、Copilotで使用されるプログラミング言語、技術、実装された関数、利点、制限、そしてCopilotを使用する際の課題を特定しました。
以上の結果から,Copilotの使用は二重刃の剣のようなもので,使用するかどうかを判断する際には,さまざまな側面を慎重に検討する必要があることが示唆された。
論文 参考訳（メタデータ） (2023-09-11T16:39:37Z) - Measuring the Runtime Performance of Code Produced with GitHub Copilot [1.6021036144262577]
開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
論文 参考訳（メタデータ） (2023-05-10T20:14:52Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
Problems Using Natural Language [3.155277175705079]
GitHub Copilotは、自然言語の問題記述からソースコードを自動的に生成する人工知能モデルである。
2022年6月以降、CopilotはVisual Studio Codeのような開発環境へのプラグインとして、学生全員に無料で提供されるようになった。
論文 参考訳（メタデータ） (2022-10-27T03:48:24Z) - GitHub Copilot AI pair programmer: Asset or Liability? [14.572381978575182]
2つの異なるプログラミングタスクにおいて、Copilotの能力について検討する。
我々は、Copilotの提案したソリューションを、プログラミングタスクのセットにおける人間のプログラマのソリューションと比較する。
その結果、Copilotは、ほとんどすべての基本的なアルゴリズム問題に対するソリューションを提供することができることがわかった。
論文 参考訳（メタデータ） (2022-06-30T15:00:03Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳（メタデータ） (2021-08-20T17:30:33Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。