論文の概要: Secure Coding with AI, From Creation to Inspection
- arxiv url: http://arxiv.org/abs/2504.20814v1
- Date: Tue, 29 Apr 2025 14:30:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.93243
- Title: Secure Coding with AI, From Creation to Inspection
- Title（参考訳）: AIによるセキュアコーディング - 創造から検査まで
- Authors: Vladislav Belozerov, Peter J Barclay, Ashkan Sami,
- Abstract要約: 本稿では,ChatGPTが生成するコードのセキュリティについて,実際の開発者インタラクションに基づいて検討する。
我々は静的スキャナを使って1,586のC、C++、C#のコードスニペットを分析し、124ファイルの潜在的な問題を検出した。
ChatGPTは32のセキュリティ問題のうち18の問題を検知し、17の問題を解決した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While prior studies have explored security in code generated by ChatGPT and other Large Language Models, they were conducted in controlled experimental settings and did not use code generated or provided from actual developer interactions. This paper not only examines the security of code generated by ChatGPT based on real developer interactions, curated in the DevGPT dataset, but also assesses ChatGPT's capability to find and fix these vulnerabilities. We analysed 1,586 C, C++, and C# code snippets using static scanners, which detected potential issues in 124 files. After manual analysis, we selected 26 files with 32 confirmed vulnerabilities for further investigation. We submitted these files to ChatGPT via the OpenAI API, asking it to detect security issues, identify the corresponding Common Weakness Enumeration numbers, and propose fixes. The responses and modified code were manually reviewed and re-scanned for vulnerabilities. ChatGPT successfully detected 18 out of 32 security issues and resolved 17 issues but failed to recognize or fix the remainder. Interestingly, only 10 vulnerabilities were resulted from the user prompts, while 22 were introduced by ChatGPT itself. We highlight for developers that code generated by ChatGPT is more likely to contain vulnerabilities compared to their own code. Furthermore, at times ChatGPT reports incorrect information with apparent confidence, which may mislead less experienced developers. Our findings confirm previous studies in demonstrating that ChatGPT is not sufficiently reliable for generating secure code nor identifying all vulnerabilities, highlighting the continuing importance of static scanners and manual review.
- Abstract（参考訳）: 以前の研究では、ChatGPTやその他の大規模言語モデルによって生成されたコードのセキュリティを調査していたが、制御された実験環境で実施され、実際の開発者インタラクションから生成されたコードや提供は使用されなかった。
本稿では、実際の開発者インタラクションに基づいて、ChatGPTが生成したコードのセキュリティをDevGPTデータセットでキュレートするだけでなく、これらの脆弱性を発見して修正するChatGPTの機能を評価する。
我々は静的スキャナを使って1,586のC、C++、C#のコードスニペットを分析し、124ファイルの潜在的な問題を検出した。
手動による解析の結果,32の脆弱性が確認された26のファイルを選択し,さらなる調査を行った。
我々はこれらのファイルをOpenAI API経由でChatGPTに送信し、セキュリティ問題を検出し、対応するCommon Weakness Enumeration番号を特定し、修正を提案する。
応答と修正されたコードは手動でレビューされ、脆弱性のために再スキャンされた。
ChatGPTは32のセキュリティ問題のうち18の発見に成功し、17の問題を解決したが、残りを認識または修正できなかった。
興味深いことに、ChatGPT自体によって22が導入されたが、ユーザプロンプトによって10の脆弱性しか発生しなかった。
開発者が強調するのは、ChatGPTによって生成されたコードは、自身のコードと比較して脆弱性を含んでいる可能性が高いということだ。
さらに、ChatGPTは誤った情報を明らかに自信を持って報告し、経験の浅い開発者を誤解させる可能性がある。
以上の結果から,ChatGPTはセキュアなコードの生成や脆弱性の特定に十分な信頼性を持っていないことが確認された。
関連論文リスト
- Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code [4.605779671279481]
GitHubの1,012のイシューで1,152人のDeveloper-ChatGPTの会話を分析しました。
ChatGPTは主にアイデアに使用されるが、検証には最小限である。
ChatGPTで生成されたコードは5.83%の問題を解決するためにas-isとして使用された。
論文 参考訳（メタデータ） (2024-12-09T18:47:31Z) - Fight Fire with Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks? [10.389763758883975]
近年の研究では、ChatGPTを開発者とテスターの両方に活用することを提案した。
コード生成,コード補完,プログラム修復におけるChatGPTの自己検証能力を評価するための総合的な実証的研究を行う。
論文 参考訳（メタデータ） (2024-05-21T09:47:33Z) - Just another copy and paste? Comparing the security vulnerabilities of ChatGPT generated code and StackOverflow answers [4.320393382724067]
この研究は、ChatGPTとStackOverflowスニペットの脆弱性を実証的に比較する。
ChatGPTはSOスニペットにある302の脆弱性と比較して248の脆弱性を含んでおり、統計的に有意な差のある20%の脆弱性を生み出した。
この結果から,両プラットフォーム間の安全性の低いコード伝搬について,開発者が教育を受けていないことが示唆された。
論文 参考訳（メタデータ） (2024-03-22T20:06:41Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳（メタデータ） (2023-10-08T10:08:21Z) - Evaluating the Impact of ChatGPT on Exercises of a Software Security
Course [2.3017018980874617]
ChatGPTは、Webアプリケーションに挿入した28の脆弱性の20をホワイトボックス設定で識別できる。
ChatGPTは、生徒に修正を求める10の脆弱性に対して、9つの満足できる侵入テストとレコメンデーションの修正を行います。
論文 参考訳（メタデータ） (2023-09-18T18:53:43Z) - Prompt-Enhanced Software Vulnerability Detection Using ChatGPT [9.35868869848051]
GPTのような大規模言語モデル(LLM)は、その驚くべき知性のためにかなりの注目を集めている。
本稿では,ChatGPTを用いたソフトウェア脆弱性検出の性能について検討する。
論文 参考訳（メタデータ） (2023-08-24T10:30:33Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - In ChatGPT We Trust? Measuring and Characterizing the Reliability of
ChatGPT [44.51625917839939]
ChatGPTは短期間で1億人以上のユーザーを獲得した。
汎用QAシナリオでChatGPTの信頼性を大規模に測定する。
ChatGPTの信頼性はドメインによって異なり、特に法律や科学の質問では性能が低かった。
論文 参考訳（メタデータ） (2023-04-18T13:20:45Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳（メタデータ） (2023-03-11T01:19:01Z) - TextHide: Tackling Data Privacy in Language Understanding Tasks [54.11691303032022]
TextHideは、トレーニングを遅くしたり、精度を下げることなく、プライバシー上のリスクを軽減する。
すべての参加者は、盗聴攻撃者がプライベートテキストデータを復元するのを防ぐために、簡単な暗号化ステップを追加する必要がある。
我々は、GLUEベンチマーク上でTextHideを評価し、TextHideが共有勾配や表現に対する攻撃を効果的に防御できることを示す。
論文 参考訳（メタデータ） (2020-10-12T22:22:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。