論文の概要: eyeballvul: a future-proof benchmark for vulnerability detection in the wild

• arxiv url: http://arxiv.org/abs/2407.08708v2
• Date: Sat, 13 Jul 2024 10:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 11:29:58.476727
• Title: eyeballvul: a future-proof benchmark for vulnerability detection in the wild
• Title（参考訳）: eyeballvul: 野生の脆弱性検出のための将来のセキュリティベンチマーク
• Authors: Timothee Chauvin,
• Abstract要約: eyeballvulは、大規模に言語モデルの脆弱性検出機能をテストするために設計されたベンチマークである。 オープンソースのリポジトリで公開された脆弱性のストリームから、毎週、オープンソースとして公開され、更新されている。 eyeballvulには6,000以上のリビジョンと5,000以上のリポジトリに24,000以上の脆弱性があり、約55GBのサイズである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long contexts of recent LLMs have enabled a new use case: asking models to find security vulnerabilities in entire codebases. To evaluate model performance on this task, we introduce eyeballvul: a benchmark designed to test the vulnerability detection capabilities of language models at scale, that is sourced and updated weekly from the stream of published vulnerabilities in open-source repositories. The benchmark consists of a list of revisions in different repositories, each associated with the list of known vulnerabilities present at that revision. An LLM-based scorer is used to compare the list of possible vulnerabilities returned by a model to the list of known vulnerabilities for each revision. As of July 2024, eyeballvul contains 24,000+ vulnerabilities across 6,000+ revisions and 5,000+ repositories, and is around 55GB in size.
• Abstract（参考訳）: 最近のLLMの長いコンテキストは、新しいユースケースを可能にした。 このタスクにおけるモデルパフォーマンスを評価するために,オープンソースのリポジトリで公開された脆弱性ストリームから毎週,言語モデルの脆弱性検出機能を大規模にテストするためのベンチマークである eyeballvul を紹介した。 ベンチマークは、異なるリポジトリ内のリビジョンのリストで構成されており、それぞれがそのリビジョンに存在する既知の脆弱性のリストと関連付けられている。 LLMベースのスコアラを使用して、モデルによって返される可能性のある脆弱性のリストと、リビジョン毎に既知の脆弱性のリストを比較する。 2024年7月時点で、Eyeballvulには6000以上のリビジョンと5,000以上のリポジトリに24,000以上の脆弱性があり、55GBほどのサイズである。

関連論文リスト

• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)
• CommitShield: Tracking Vulnerability Introduction and Fix in Version Control Systems [15.037460085046806]
  CommitShieldは、コードコミットの脆弱性を検出するツールである。 静的解析ツールのコード解析機能と、大きな言語モデルの自然言語とコード理解機能を組み合わせる。 脆弱性修正検出タスクの最先端メソッドに対して,CommitShieldはリコールを76%～87%改善することを示す。
  論文  参考訳（メタデータ） (2025-01-07T08:52:55Z)
• LLM-Enhanced Static Analysis for Precise Identification of Vulnerable OSS Versions [12.706661324384319]
  オープンソースソフトウェア(OSS)は、そのコラボレーティブな開発モデルとコスト効果の性質から、人気が高まっている。 開発プロジェクトにおける特定のソフトウェアバージョンの採用は、これらのバージョンが脆弱性をもたらす場合にセキュリティリスクをもたらす可能性がある。 脆弱性のあるバージョンを識別する現在の方法は、通常、事前に定義されたルールで静的解析を使用して、脆弱性パッチに関わるコードを分析してトレースする。 本稿では,C/C++で記述されたOSSの脆弱なバージョンを特定するために,Vercationを提案する。
  論文  参考訳（メタデータ） (2024-08-14T06:43:06Z)
• ARVO: Atlas of Reproducible Vulnerabilities for Open Source Software [20.927909014593318]
  オープンソースソフトウェアでは,ARVO:Atlas of Reproducible Vulnerabilitiesを紹介した。 250以上のプロジェクトにわたって5,000以上のメモリ脆弱性を再現しています。 OSS-Fuzzが新たな脆弱性を見つけると、データセットは自動的に更新されます。
  論文  参考訳（メタデータ） (2024-08-04T22:13:14Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• VulDetectBench: Evaluating the Deep Capability of Vulnerability Detection with Large Language Models [12.465060623389151]
  本研究では,Large Language Models(LLM)の脆弱性検出機能を評価するために,新しいベンチマークであるVulDetectBenchを紹介する。 このベンチマークは、LLMの脆弱性を特定し、分類し、発見する能力を、難易度を高める5つのタスクを通じて総合的に評価している。 本ベンチマークでは,脆弱性検出の特定のタスクにおいて,様々なLLMの能力評価を効果的に行うとともに,コードセキュリティの重要領域における今後の研究と改善の基盤となる。
  論文  参考訳（メタデータ） (2024-06-11T13:42:57Z)
• LLM-Assisted Static Analysis for Detecting Security Vulnerabilities [14.188864624736938]
  大規模な言語モデル(LLM)は印象的なコード生成機能を示しているが、そのような脆弱性を検出するためにコードに対して複雑な推論を行うことはできない。 我々は,LLMと静的解析を体系的に組み合わせ,セキュリティ脆弱性検出のための全体リポジトリ推論を行うニューロシンボリックアプローチであるIRISを提案する。
  論文  参考訳（メタデータ） (2024-05-27T14:53:35Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• On the Security Blind Spots of Software Composition Analysis [46.1389163921338]
  Mavenリポジトリで脆弱性のあるクローンを検出するための新しいアプローチを提案する。 Maven Centralから53万以上の潜在的な脆弱性のあるクローンを検索します。 検出された727個の脆弱なクローンを検出し、それぞれに検証可能な脆弱性証明プロジェクトを合成する。
  論文  参考訳（メタデータ） (2023-06-08T20:14:46Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。