Fugu-MT 論文翻訳(概要): Security Weaknesses of Copilot Generated Code in GitHub

論文の概要: Security Weaknesses of Copilot Generated Code in GitHub

arxiv url: http://arxiv.org/abs/2310.02059v1
Date: Tue, 3 Oct 2023 14:01:28 GMT
ステータス: 処理完了
システム内更新日: 2023-10-23 05:06:50.469126
Title: Security Weaknesses of Copilot Generated Code in GitHub
Title（参考訳）: GitHubのCopilot生成コードのセキュリティ欠陥
Authors: Yujia Fu, Peng Liang, Amjed Tahir, Zengyang Li, Mojtaba Shahin, Jiaxin Yu
Abstract要約: GitHub Copilotが生成したコードスニペットのセキュリティ脆弱性を分析して、実証的研究を行った。公開プロジェクトからCopilotが生成した435のコードスニペットを特定しました。次に、コードスニペット内のCommon Weaknession(CWE)インスタンスを特定するために、広範なセキュリティ分析を行った。
参考スコア（独自算出の注目度）: 7.672953891724979
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Modern code generation tools use AI models, particularly Large Language Models (LLMs), to generate functional and complete code. While such tools are becoming popular and widely available for developers, using these tools is often accompanied by security challenges. Therefore, it is important to assess the quality of the generated code, especially in terms of its security. Researchers have recently explored various aspects of code generation tools, including security. However, many open questions about the security of the generated code require further investigation, especially the security issues of automatically generated code in the wild. To this end, we conducted an empirical study by analyzing the security weaknesses in code snippets generated by GitHub Copilot that are found as part of publicly available projects hosted on GitHub. The goal is to investigate the types of security issues and their scale in real-world scenarios (rather than crafted scenarios). To this end, we identified 435 code snippets generated by Copilot from publicly available projects. We then conducted extensive security analysis to identify Common Weakness Enumeration (CWE) instances in these code snippets. The results show that (1) 35.8% of Copilot generated code snippets contain CWEs, and those issues are spread across multiple languages, (2) the security weaknesses are diverse and related to 42 different CWEs, in which CWE-78: OS Command Injection, CWE-330: Use of Insufficiently Random Values, and CWE-703: Improper Check or Handling of Exceptional Conditions occurred the most frequently, and (3) among the 42 CWEs identified, 11 of those belong to the currently recognized 2022 CWE Top-25. Our findings confirm that developers should be careful when adding code generated by Copilot (and similar AI code generation tools) and should also run appropriate security checks as they accept the suggested code.
Abstract（参考訳）: 現代のコード生成ツールはAIモデル、特にLarge Language Models(LLM)を使用して、機能的で完全なコードを生成する。このようなツールは開発者には広く普及しているが、セキュリティ上の課題を伴うことが多い。したがって、特にセキュリティの観点から、生成されたコードの品質を評価することが重要である。研究者は最近、セキュリティを含むコード生成ツールのさまざまな側面を調査した。しかし、生成されたコードのセキュリティに関する多くの公然とした質問は、さらなる調査、特に野生の自動生成コードのセキュリティ問題を必要とする。この目的のために、github copilotが生成するコードスニペットのセキュリティ上の弱点を分析し、githubにホストされている公開プロジェクトの一部として見つけた。目標は、(現実のシナリオではなく)現実のシナリオにおけるセキュリティ問題の種類と規模を調べることです。そこで私たちは,copilotが公開プロジェクトから生成した435のコードスニペットを特定した。次に,これらのコードスニペット中のCWE(Common Weakness Enumeration)インスタンスを特定するために,広範なセキュリティ分析を行った。その結果,(1)コピロット生成コードスニペットの35.8%がcweを含み,(2)セキュリティ上の弱点が多様であり,(2)cwe-78: osコマンドインジェクション,cwe-330:不十分な乱数値の使用,cwe-703:異常な条件の不正なチェックや処理が最も頻繁に発生し,(3)42のcweのうち11が2022のcweトップ25に属していることがわかった。私たちの調査では、開発者がCopilot(と同じようなAIコード生成ツール)で生成されたコードを追加する際には注意が必要であることを確認しました。

関連論文リスト

RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文参考訳（メタデータ） (2024-11-12T13:30:06Z)
Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文参考訳（メタデータ） (2024-10-29T12:21:23Z)
HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
論文参考訳（メタデータ） (2024-09-10T12:01:43Z)
Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
論文参考訳（メタデータ） (2024-07-02T16:13:21Z)
Just another copy and paste? Comparing the security vulnerabilities of ChatGPT generated code and StackOverflow answers [4.320393382724067]
この研究は、ChatGPTとStackOverflowスニペットの脆弱性を実証的に比較する。 ChatGPTはSOスニペットにある302の脆弱性と比較して248の脆弱性を含んでおり、統計的に有意な差のある20%の脆弱性を生み出した。この結果から,両プラットフォーム間の安全性の低いコード伝搬について,開発者が教育を受けていないことが示唆された。
論文参考訳（メタデータ） (2024-03-22T20:06:41Z)
Assessing the Security of GitHub Copilot Generated Code -- A Targeted Replication Study [11.644996472213611]
最近の研究は、GitHub CopilotやAmazon CodeWhispererといったAIによるコード生成ツールのセキュリティ問題を調査している。本稿では、コパイロットのセキュリティの弱点を調査し、コパイロットが提案するコードにいくつかの弱点を発見したPearce et al.の研究を再現する。我々の結果は、新しいバージョンのCopilotが改良されても、脆弱性のあるコード提案の割合が36.54%から27.25%に減少していることを示している。
論文参考訳（メタデータ） (2023-11-18T22:12:59Z)
On the Security Blind Spots of Software Composition Analysis [46.1389163921338]
Mavenリポジトリで脆弱性のあるクローンを検出するための新しいアプローチを提案する。 Maven Centralから53万以上の潜在的な脆弱性のあるクローンを検索します。検出された727個の脆弱なクローンを検出し、それぞれに検証可能な脆弱性証明プロジェクトを合成する。
論文参考訳（メタデータ） (2023-06-08T20:14:46Z)
CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文参考訳（メタデータ） (2023-02-08T11:54:07Z)
ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
論文参考訳（メタデータ） (2022-12-20T14:11:31Z)
An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文参考訳（メタデータ） (2021-08-20T17:30:33Z)
Predicting Vulnerability In Large Codebases With Deep Code Representation [6.357681017646283]
ソフトウェアエンジニアは様々なモジュールのコードを書きます。過去に(異なるモジュールで)修正された同様の問題やバグも、本番コードで再び導入される傾向にある。ソースコードから生成した抽象構文木(AST)の深部表現とアクティブフィードバックループを用いた,AIに基づく新しいシステムを開発した。
論文参考訳（メタデータ） (2020-04-24T13:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。