論文の概要: DeVAIC: A Tool for Security Assessment of AI-generated Code
- arxiv url: http://arxiv.org/abs/2404.07548v2
- Date: Mon, 2 Sep 2024 10:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 18:50:14.593916
- Title: DeVAIC: A Tool for Security Assessment of AI-generated Code
- Title（参考訳）: DeVAIC: AI生成コードのセキュリティアセスメントツール
- Authors: Domenico Cotroneo, Roberta De Luca, Pietro Liguori,
- Abstract要約: DeVAIC (Detection of Vulnerabilities in AI Generated Code)は、AI生成のPythonコードのセキュリティを評価するツールである。
- 参考スコア（独自算出の注目度）: 5.383910843560784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: AI code generators are revolutionizing code writing and software development, but their training on large datasets, including potentially untrusted source code, raises security concerns. Furthermore, these generators can produce incomplete code snippets that are challenging to evaluate using current solutions. Objective: This research work introduces DeVAIC (Detection of Vulnerabilities in AI-generated Code), a tool to evaluate the security of AI-generated Python code, which overcomes the challenge of examining incomplete code. Method: We followed a methodological approach that involved gathering vulnerable samples, extracting implementation patterns, and creating regular expressions to develop the proposed tool. The implementation of DeVAIC includes a set of detection rules based on regular expressions that cover 35 Common Weakness Enumerations (CWEs) falling under the OWASP Top 10 vulnerability categories. Results: We utilized four popular AI models to generate Python code, which we then used as a foundation to evaluate the effectiveness of our tool. DeVAIC demonstrated a statistically significant difference in its ability to detect security vulnerabilities compared to the state-of-the-art solutions, showing an F1 Score and Accuracy of 94% while maintaining a low computational cost of 0.14 seconds per code snippet, on average. Conclusions: The proposed tool provides a lightweight and efficient solution for vulnerability detection even on incomplete code.
- Abstract（参考訳）: コンテキスト: AIコードジェネレータは、コード記述とソフトウェア開発に革命をもたらしていますが、潜在的に信頼できないソースコードを含む大規模なデータセットでのトレーニングは、セキュリティ上の懸念を引き起こします。
さらに、これらのジェネレータは、現在のソリューションを使った評価が難しい不完全なコードスニペットを生成することができる。
目的: この研究は、AI生成されたPythonコードのセキュリティを評価するツールであるDeVAIC(AI生成コードの脆弱性の検出)を導入し、不完全なコードを調べるという課題を克服する。
方法: 脆弱なサンプルを収集し, 実装パターンを抽出し, 提案ツールを開発するための正規表現を作成する手法を踏襲した。
DeVAICの実装には正規表現に基づく一連の検出ルールが含まれており、OWASPトップ10の脆弱性カテゴリに該当する35の共通弱度列挙(CWE)をカバーする。
結果: 人気の高い4つのAIモデルを使用してPythonコードを生成しました。
DeVAICは、最先端のソリューションと比較してセキュリティ上の脆弱性を検出する能力に統計的に有意な差を示し、F1スコアと精度は94%で、コードスニペットあたりの計算コストは平均0.14秒であった。
結論: 提案されたツールは、不完全なコードであっても、脆弱性検出のための軽量で効率的なソリューションを提供する。
関連論文リスト
- RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。
RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。
RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文 参考訳（メタデータ） (2024-11-12T13:30:06Z) - Impact of Code Transformation on Detection of Smart Contract Vulnerabilities [0.0]
本稿では,スマートコントラクト脆弱性データセットの量と品質を改善する方法を提案する。
このアプローチは、セマンティックな意味を変えることなくソースコード構造を変更するテクニックである、セマンティックな保存コード変換を中心に展開されている。
改善された結果によると、新たに生成された脆弱性の多くはツールをバイパスでき、偽報告率は最大100%になる。
論文 参考訳（メタデータ） (2024-10-29T03:08:25Z) - The Vulnerability Is in the Details: Locating Fine-grained Information of Vulnerable Code Identified by Graph-based Detectors [33.395068754566935]
VULEXPLAINERは、粗いレベルの脆弱なコードスニペットから脆弱性クリティカルなコード行を見つけるためのツールである。
C/C++の一般的な8つの脆弱性に対して、90%の精度で脆弱性をトリガするコードステートメントにフラグを付けることができる。
論文 参考訳（メタデータ） (2024-01-05T10:15:04Z) - Automating the Correctness Assessment of AI-generated Code for Security Contexts [8.009107843106108]
本稿では,セキュリティのためにAI生成コードの正当性を評価するために,ACCAという完全自動化手法を提案する。
我々はACCAを用いて、セキュリティ指向のアセンブリコードを生成するために訓練された4つの最先端モデルを評価する。
実験の結果,本手法は基本解よりも優れ,AI生成コードの正確性は人間による評価と類似していることが判明した。
論文 参考訳（メタデータ） (2023-10-28T22:28:32Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳（メタデータ） (2023-10-08T10:08:21Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - DCDetector: An IoT terminal vulnerability mining system based on
distributed deep ensemble learning under source code representation [2.561778620560749]
この研究の目的は、C/C++のような高レベルの言語のソースコードの脆弱性をインテリジェントに検出することである。
これにより、ソースコードのセンシティブな文関連スライスをコード表現し、分散深層学習モデルの設計により脆弱性を検出することができる。
実験により,従来の静的解析の偽陽性率を低減し,機械学習の性能と精度を向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-11-29T14:19:14Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳（メタデータ） (2021-09-07T21:24:36Z) - Multi-context Attention Fusion Neural Network for Software Vulnerability
Identification [4.05739885420409]
ソースコードのセキュリティ脆弱性の共通カテゴリのいくつかを効率的に検出することを学ぶディープラーニングモデルを提案する。
モデルは、学習可能なパラメータの少ないコードセマンティクスの正確な理解を構築します。
提案したAIは、ベンチマークされたNIST SARDデータセットから特定のCWEに対して98.40%のF1スコアを達成する。
論文 参考訳（メタデータ） (2021-04-19T11:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。