論文の概要: Is GitHub's Copilot as Bad as Humans at Introducing Vulnerabilities in Code?

• arxiv url: http://arxiv.org/abs/2204.04741v5
• Date: Sat, 6 Jan 2024 02:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 00:45:43.632077
• Title: Is GitHub's Copilot as Bad as Humans at Introducing Vulnerabilities in Code?
• Title（参考訳）: GitHubのコパイロットはコードの脆弱性導入時に人間と同じくらい悪いか?
• Authors: Owura Asare, Meiyappan Nagappan, N. Asokan
• Abstract要約: セキュリティの観点から,Copilot生成したコードの比較実験解析を行った。 われわれは、Copilotが人間の開発者と同じソフトウェア脆弱性をもたらす可能性が高いかどうかを調査する。
• 参考スコア（独自算出の注目度）: 12.350130201627186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several advances in deep learning have been successfully applied to the software development process. Of recent interest is the use of neural language models to build tools, such as Copilot, that assist in writing code. In this paper we perform a comparative empirical analysis of Copilot-generated code from a security perspective. The aim of this study is to determine if Copilot is as bad as human developers. We investigate whether Copilot is just as likely to introduce the same software vulnerabilities as human developers. Using a dataset of C/C++ vulnerabilities, we prompt Copilot to generate suggestions in scenarios that led to the introduction of vulnerabilities by human developers. The suggestions are inspected and categorized in a 2-stage process based on whether the original vulnerability or fix is reintroduced. We find that Copilot replicates the original vulnerable code about 33% of the time while replicating the fixed code at a 25% rate. However this behaviour is not consistent: Copilot is more likely to introduce some types of vulnerabilities than others and is also more likely to generate vulnerable code in response to prompts that correspond to older vulnerabilities. Overall, given that in a significant number of cases it did not replicate the vulnerabilities previously introduced by human developers, we conclude that Copilot, despite performing differently across various vulnerability types, is not as bad as human developers at introducing vulnerabilities in code.
• Abstract（参考訳）: ディープラーニングのいくつかの進歩は、ソフトウェア開発プロセスにうまく適用されています。 最近の関心は、コードの記述を支援するCopilotのようなツールを構築するために、ニューラルネットワークモデルを使用することだ。 本稿では,セキュリティの観点から,コパイロット生成コードの比較実験解析を行う。 この研究の目的は、Copilotが人間開発者と同じくらい悪いかどうかを判断することである。 copilotが人間の開発者と同じソフトウェア脆弱性をもたらす可能性があるかどうかを調査した。 c/c++の脆弱性のデータセットを使用することで、copilotに、人間開発者による脆弱性導入につながるシナリオの提案を推奨します。 提案は、元の脆弱性や修正が再導入されるかどうかに基づいて、2段階のプロセスで検査および分類される。 Copilotは元の脆弱性のあるコードを33%の時間で複製し、固定されたコードを25%のレートで複製しています。 copilotは他の脆弱性よりもいくつかのタイプの脆弱性を導入する可能性が高く、古い脆弱性に対応するプロンプトに応答して脆弱なコードを生成する可能性も高い。 全体として、多くのケースにおいて、これまで人間の開発者が導入した脆弱性を再現していなかったことを踏まえると、copilotは様々な脆弱性タイプで異なるパフォーマンスをしているにもかかわらず、コードに脆弱性を導入する人間の開発者ほど悪くはないと結論づけています。

関連論文リスト

• GitHub Copilot: the perfect Code compLeeter? [3.708656266586145]
  本稿では,GitHub Copilotが生成するコード品質をLeetCode問題セットに基づいて評価することを目的とする。 我々は、コード生成段階でのCopilotの信頼性、生成したコードの正確性、およびプログラミング言語への依存性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T08:38:29Z)
• Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
  ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。 10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。 これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-16T19:11:15Z)
• Exploring the Effect of Multiple Natural Languages on Code Suggestion Using GitHub Copilot [46.822148186169144]
  GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。 最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。 しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
  論文  参考訳（メタデータ） (2024-02-02T14:30:02Z)
• Assessing the Security of GitHub Copilot Generated Code -- A Targeted Replication Study [11.644996472213611]
  最近の研究は、GitHub CopilotやAmazon CodeWhispererといったAIによるコード生成ツールのセキュリティ問題を調査している。 本稿では、コパイロットのセキュリティの弱点を調査し、コパイロットが提案するコードにいくつかの弱点を発見したPearce et al.の研究を再現する。 我々の結果は、新しいバージョンのCopilotが改良されても、脆弱性のあるコード提案の割合が36.54%から27.25%に減少していることを示している。
  論文  参考訳（メタデータ） (2023-11-18T22:12:59Z)
• Security Weaknesses of Copilot Generated Code in GitHub [8.364612094301071]
  GitHub Copilotが生成したコードスニペットをGitHubプロジェクトから分析します。 分析の結果,Copilotが生成した452個のスニペットが検出された。 また、実践者は、対応するセキュリティ意識とスキルを育む必要があることも示している。
  論文  参考訳（メタデータ） (2023-10-03T14:01:28Z)
• A User-centered Security Evaluation of Copilot [12.350130201627186]
  私たちはGitHubのCopilotを評価し、コードのセキュリティに関する長所と短所をよりよく理解しています。 Copilotへのアクセスは,難しい問題に対処する上で,よりセキュアなソリューションであることに気付きました。
  論文  参考訳（メタデータ） (2023-08-12T14:49:46Z)
• CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
  セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。 汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。 特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T20:39:08Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• Level 2 Autonomous Driving on a Single Device: Diving into the Devils of Openpilot [112.21008828205409]
  Comma.aiは、1台のカメラとボードを内蔵した999ドルのアフターマーケットデバイスがL2シナリオを処理する能力を持っていると主張している。 Comma.aiがリリースした全システムのオープンソースソフトウェアとともに、プロジェクトはOpenpilotと名付けられた。 このレポートでは、最新の知見を公開し、産業製品レベルでのエンドツーエンドの自動運転という、新たな視点について光を当てたいと思います。
  論文  参考訳（メタデータ） (2022-06-16T13:43:52Z)
• An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions [8.285068188878578]
  GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。 コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。 これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
  論文  参考訳（メタデータ） (2021-08-20T17:30:33Z)
• Break-It-Fix-It: Unsupervised Learning for Program Repair [90.55497679266442]
  我々は2つの重要なアイデアを持つ新しいトレーニング手法であるBreak-It-Fix-It (BIFI)を提案する。 批判者は、実際の悪い入力でフィクスダーの出力をチェックし、トレーニングデータに良い(固定された)出力を追加する。 これらのアイデアに基づいて、よりペア化されたデータを生成するために、ブレーカとフィクスチャを同時に使用しながら、繰り返し更新する。 BIFIは既存のメソッドより優れており、GitHub-Pythonで90.5%、DeepFixで71.7%の修正精度がある。
  論文  参考訳（メタデータ） (2021-06-11T20:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。