論文の概要: Security Weaknesses of Copilot Generated Code in GitHub

• arxiv url: http://arxiv.org/abs/2310.02059v2
• Date: Thu, 4 Apr 2024 07:53:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 20:12:51.237585
• Title: Security Weaknesses of Copilot Generated Code in GitHub
• Title（参考訳）: GitHubのCopilot生成コードのセキュリティ欠陥
• Authors: Yujia Fu, Peng Liang, Amjed Tahir, Zengyang Li, Mojtaba Shahin, Jiaxin Yu, Jinfu Chen,
• Abstract要約: GitHub Copilotが生成したコードスニペットをGitHubプロジェクトから分析します。 分析の結果,Copilotが生成した452個のスニペットが検出された。 また、実践者は、対応するセキュリティ意識とスキルを育む必要があることも示している。
• 参考スコア（独自算出の注目度）: 8.364612094301071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern code generation tools, utilizing AI models like Large Language Models (LLMs), have gained popularity for producing functional code. However, their usage presents security challenges, often resulting in insecure code merging into the code base. Evaluating the quality of generated code, especially its security, is crucial. While prior research explored various aspects of code generation, the focus on security has been limited, mostly examining code produced in controlled environments rather than real-world scenarios. To address this gap, we conducted an empirical study, analyzing code snippets generated by GitHub Copilot from GitHub projects. Our analysis identified 452 snippets generated by Copilot, revealing a high likelihood of security issues, with 32.8% of Python and 24.5% of JavaScript snippets affected. These issues span 38 different Common Weakness Enumeration (CWE) categories, including significant ones like CWE-330: Use of Insufficiently Random Values, CWE-78: OS Command Injection, and CWE-94: Improper Control of Generation of Code. Notably, eight CWEs are among the 2023 CWE Top-25, highlighting their severity. Our findings confirm that developers should be careful when adding code generated by Copilot and should also run appropriate security checks as they accept the suggested code. It also shows that practitioners should cultivate corresponding security awareness and skills.
• Abstract（参考訳）: LLM(Large Language Models)のようなAIモデルを利用した現代的なコード生成ツールは、関数型コードの生成で人気を集めている。 しかし、それらの使用法はセキュリティ上の問題を示し、多くの場合、安全でないコードがコードベースにマージされる。 生成されたコードの品質、特にセキュリティを評価することが重要です。 以前の研究では、コード生成のさまざまな側面について検討されていたが、セキュリティへの焦点は限られており、主に現実世界のシナリオではなく、制御された環境で生成されたコードを調べている。 このギャップに対処するため、GitHub CopilotがGitHubプロジェクトから生成したコードスニペットを分析して、実証的研究を行った。 分析では、Copilotが生成した452個のスニペットを特定し、セキュリティ上の問題の高い可能性を示し、Pythonの32.8%とJavaScriptスニペットの24.5%が影響を受けた。 これらの問題は、CWE-330: 不十分なランダム値の使用、CWE-78: OSコマンドインジェクション、CWE-94: コード生成の不適切な制御などを含む38の異なる共通弱度列挙(CWE)カテゴリにまたがっている。 8台のCWEが2023年のCWEトップ25に入っていて、その厳しさを強調しています。 私たちの調査では、開発者はCopilotで生成されたコードを追加する際に注意すべきであり、提案されたコードを受け入れた時に適切なセキュリティチェックを実行する必要があることを確認しています。 また、実践者は、対応するセキュリティ意識とスキルを育む必要があることも示している。

関連論文リスト

• Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
  大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。 我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:13:21Z)
• FV8: A Forced Execution JavaScript Engine for Detecting Evasive Techniques [53.288368877654705]
  FV8はJavaScriptコードの回避テクニックを特定するために設計された修正V8 JavaScriptエンジンである。 動的コードを条件付きで注入するAPI上でのコード実行を選択的に実施する。 1,443のnpmパッケージと、少なくとも1つのタイプのエスケープを含む164の(82%)拡張を識別する。
  論文  参考訳（メタデータ） (2024-05-21T19:54:19Z)
• Just another copy and paste? Comparing the security vulnerabilities of ChatGPT generated code and StackOverflow answers [4.320393382724067]
  この研究は、ChatGPTとStackOverflowスニペットの脆弱性を実証的に比較する。 ChatGPTはSOスニペットにある302の脆弱性と比較して248の脆弱性を含んでおり、統計的に有意な差のある20%の脆弱性を生み出した。 この結果から,両プラットフォーム間の安全性の低いコード伝搬について,開発者が教育を受けていないことが示唆された。
  論文  参考訳（メタデータ） (2024-03-22T20:06:41Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• Assessing the Security of GitHub Copilot Generated Code -- A Targeted Replication Study [11.644996472213611]
  最近の研究は、GitHub CopilotやAmazon CodeWhispererといったAIによるコード生成ツールのセキュリティ問題を調査している。 本稿では、コパイロットのセキュリティの弱点を調査し、コパイロットが提案するコードにいくつかの弱点を発見したPearce et al.の研究を再現する。 我々の結果は、新しいバージョンのCopilotが改良されても、脆弱性のあるコード提案の割合が36.54%から27.25%に減少していることを示している。
  論文  参考訳（メタデータ） (2023-11-18T22:12:59Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
  セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。 汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。 特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T20:39:08Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• Is GitHub's Copilot as Bad as Humans at Introducing Vulnerabilities in Code? [12.350130201627186]
  セキュリティの観点から,Copilot生成したコードの比較実験解析を行った。 われわれは、Copilotが人間の開発者と同じソフトウェア脆弱性をもたらす可能性が高いかどうかを調査する。
  論文  参考訳（メタデータ） (2022-04-10T18:32:04Z)
• An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions [8.285068188878578]
  GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。 コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。 これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
  論文  参考訳（メタデータ） (2021-08-20T17:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。