論文の概要: LLMVul: A Vulnerability-Labeled Dataset of LLM-Generated C/C++ Functions from Real Production Repositories

• arxiv url: http://arxiv.org/abs/2609.10945v1
• Date: Thu, 10 Sep 2026 01:10:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.172492
• Title: LLMVul: A Vulnerability-Labeled Dataset of LLM-Generated C/C++ Functions from Real Production Repositories
• Title（参考訳）: LLMVul: 実運用リポジトリからLLM生成したC/C++関数の脆弱性ラベル付きデータセット
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア開発の生成と支援にますます使われています。 既存の脆弱性データセットは、主に人書きのコードや制御された環境に焦点を当てている。 実運用リポジトリから抽出したLLM生成C/C++関数の脆弱性ラベル付きデータセットであるLLMVulを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to generate and assist with software development, yet existing vulnerability datasets largely focus on human-written code or controlled prompting environments. This limits the ability to study security weaknesses in LLM-generated code as it appears in real-world software projects. We present LLMVul, a vulnerability-labeled dataset of LLM-generated C/C++ functions mined from real production repositories. We mine AI-assisted development activity from GitHub over a 4 year period, from November 13, 2022 to September 3, 2026, using provenance signals such as commit metadata and AI-related authorship evidence. After filtering and deduplication, LLMVul contains 21,430 unique C/C++ functions from 226 repositories, together with repository, commit, function, provenance, and AI-tool metadata. We establish vulnerability labels using an ensemble of complementary static-analysis and pattern-based techniques and assign Common Weakness Enumeration (CWE) categories to confirmed vulnerable functions. To assess labeling reliability, we additionally conduct independent manual annotation and measure inter-rater agreement using Cohen's kappa ($k=0.79$). LLMVul contains 1,540 ensemble-vulnerable functions spanning 17 unique CWE categories, providing substantially more real-world LLM-generated vulnerable C/C++ functions than existing vulnerability-oriented LLM code benchmarks. By preserving both code-level vulnerability labels and generation/provenance metadata, LLMVul enables reproducible research on vulnerability detection, security evaluation of LLM-generated code, and analysis of vulnerability patterns in AI-assisted software development. The LLMVul dataset is publicly available at https://doi.org/10.5281/zenodo.22668216.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア開発の生成と支援にますます使われていますが、既存の脆弱性データセットは、主に人書きのコードやプロンプト環境に重点を置いています。 これにより、現実のソフトウェアプロジェクトのように、LLM生成コードのセキュリティの弱点を研究する能力が制限される。 実運用リポジトリから抽出したLLM生成C/C++関数の脆弱性ラベル付きデータセットであるLLMVulを提案する。 2022年11月13日から2026年9月3日までの4年間、私たちは、コミットメタデータやAI関連のオーサリングエビデンスといった前向きなシグナルを使用して、GitHubからAI支援開発活動を発掘しました。 フィルタと重複排除の後、LLMVulは226リポジトリから21,430のユニークなC/C++関数と、リポジトリ、コミット、関数、証明、AIツールメタデータを含んでいる。 静的解析とパターンに基づく手法のアンサンブルを用いて脆弱性ラベルを確立し,CWE(Common Weakness Enumeration)カテゴリを脆弱性関数に割り当てる。 ラベル付け信頼性を評価するため,Cohenのkaappa(k=0.79$)を用いて,独立した手動アノテーションとレータ間合意も実施する。 LLMVulには17のCWEカテゴリにまたがる1,540のアンサンブル対応関数が含まれており、既存の脆弱性指向のLLMコードベンチマークよりも現実的なLLM生成の脆弱なC/C++関数を提供する。 コードレベルの脆弱性ラベルと生成/改善メタデータの両方を保存することで、LLMVulは、脆弱性検出、LLM生成コードのセキュリティ評価、AI支援ソフトウェア開発における脆弱性パターンの分析に関する再現可能な研究を可能にする。 LLMVulデータセットはhttps://doi.org/10.5281/zenodo.22668216で公開されている。

関連論文リスト

• Bridging Code Property Graphs and Language Models for Program Analysis [1.7158296436650338]
  大規模言語モデル(LLM)は、現実世界のセキュリティ脆弱性を分析する上で、重大な課題に直面します。 トークン制限はレポジトリ全体をロードすることを防ぎ、コード埋め込みはプロシージャ間データフローのキャプチャに失敗し、LLMは複雑な静的解析クエリを生成するのに苦労する。 我々は,Joern の Code Property Graph エンジンと LLM を統合した,オープンソースの Model Context Protocol (MCP) サーバである codebadger を紹介する。
  論文  参考訳（メタデータ） (2026-03-25T22:08:04Z)
• RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
  LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。 我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
  論文  参考訳（メタデータ） (2026-01-30T08:29:01Z)
• Large Language Model Unlearning for Source Code [65.42425213605114]
  PRODは、LLMがコード生成能力を保ちながら、望ましくないコード内容を忘れることができる新しいアンラーニングアプローチである。 本評価は,既存の未学習アプローチと比較して,忘れ品質とモデルユーティリティのバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T16:27:59Z)
• SecVulEval: Benchmarking LLMs for Real-World C/C++ Vulnerability Detection [8.440793630384546]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて有望であることを示している。 高品質なデータセットがないため、脆弱性検出の有効性を評価するのは難しい。 このベンチマークには、1999年から2024年までのC/C++プロジェクトで5,867のCVEをカバーする25,440の関数サンプルが含まれている。
  論文  参考訳（メタデータ） (2025-05-26T11:06:03Z)
• VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching [0.9208007322096533]
  大きな言語モデル(LLM)は、コード翻訳のようなタスクにおいて有望であることを示している。 本稿では,C コードの脆弱性を特定し,パッチする際の LLM の性能を評価するためのフレームワーク VulnLLMEval を紹介する。 私たちの研究には、Linuxカーネルから抽出された307の現実世界の脆弱性が含まれている。
  論文  参考訳（メタデータ） (2024-09-16T22:00:20Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• An Exploratory Study on Fine-Tuning Large Language Models for Secure Code Generation [16.000227726163967]
  脆弱性修正コミットのデータセット上で学習済みの大規模言語モデルがセキュアなコード生成を促進するかどうかを検討する。 オープンソースのリポジトリから、確認済みの脆弱性のコード修正を収集することで、セキュアなコード生成のための微調整データセット(14,622 C/C++ファイル)をクロールします。 C言語のセキュリティの最大改善は6.4%、C++言語の5.0%です。
  論文  参考訳（メタデータ） (2024-08-17T02:51:27Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• Can LLMs Patch Security Issues? [1.3299507495084417]
  LLM(Large Language Models)は、コード生成に優れた習熟度を示している。 LLMは人間と弱点を共有している。 我々は、LLMが生成した脆弱性のあるコードを自動的に洗練するフィードバック駆動セキュリティパッチング(FDSP)を提案する。
  論文  参考訳（メタデータ） (2023-11-13T08:54:37Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。