論文の概要: Longitudinal Analyses of SAST Tools: A CodeQL Case Study
- arxiv url: http://arxiv.org/abs/2605.07900v1
- Date: Fri, 08 May 2026 15:41:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.169696
- Title: Longitudinal Analyses of SAST Tools: A CodeQL Case Study
- Title(参考訳): SASTツールの経時的分析: CodeQLケーススタディ
- Authors: Jean-Charles Noirot Ferrand, Kyle Domico, Yohan Beugin, Patrick McDaniel,
- Abstract要約: 本研究では,静的アプリケーションセキュリティテスト(SAST)ツールを縦断測定により評価するための新しい手法を提案する。
当社の装置は1622リポジトリの3993 CVEで、CodeQLの114バージョンに時間をかけて適用し、ツールの重要な特性を測定します。
CodeQLは合計171のCVEを識別しており、83のCVEでは修正前のCodeQLバージョンが検出可能であることが分かりました。
- 参考スコア(独自算出の注目度): 3.5770847622955064
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Open-source software (OSS) pipelines rely on automated static analysis tools to prevent the introduction of vulnerabilities in code. However, there is limited understanding of the efficacy of these tools across the OSS ecosystem over time. In this paper, we introduce a novel method to evaluate static application security testing (SAST) tools through longitudinal measurements and perform the largest academic study of CodeQL -- the most prevalent static analysis tool from GitHub -- on OSS codebases. We apply our apparatus on 114 versions of CodeQL over time on 3993 CVEs from 1622 repositories to measure key properties of the tool, culminating in more than 20 billion lines of code analyzed. First, we measure its effectiveness, i.e., its ability to detect vulnerabilities before they are fixed. Then, we determine whether these detections were actionable through two measures of the distance between findings and vulnerability location either over the entire codebase or within the vulnerable file. Finally, we study the stability of CodeQL by examining how vulnerability detections hold across versions and the evolution of CodeQL on the accuracy-precision trade-off. We find that CodeQL identifies a total of 171 CVEs, and that for 83 of them, a CodeQL version prior to the fix could detect it. Such detections are in general actionable if findings are triaged across files, as for 50% of the 171 detections, more than 50% of findings in the vulnerable file are located in the vulnerable location. Finally, we show that CVE detections are not monotonic across versions as 21 CVEs were no longer detected following a version change and 17 that were never redetected. Our study shows that using SAST tools is a matter of best practice as they prevent numerous vulnerabilities from being introduced, but that developers should be aware of changes that may leave blind spots in detections upon updates of the tool.
- Abstract(参考訳): オープンソースのソフトウェア(OSS)パイプラインは、コードの脆弱性の導入を防ぐために、自動静的解析ツールに依存している。
しかしながら、OSSエコシステム全体でこれらのツールの有効性について、時間とともに限定的に理解されている。
本稿では、縦断的な測定によって静的アプリケーションセキュリティテスト(SAST)ツールを評価する新しい手法を紹介し、OSSコードベース上で、GitHubの最も一般的な静的分析ツールであるCodeQLについて、最も学術的な研究を行う。
当社の装置を1622リポジトリの3993 CVEに時間をかけて114バージョンのCodeQLに適用し、ツールのキープロパティを測定し、200億行以上のコード解析を行いました。
まず、その有効性、すなわち、修正前に脆弱性を検出する能力を測定する。
そして、コードベース全体または脆弱性ファイル内において、発見と脆弱性位置の距離を2つの尺度で測定することで、これらの検出が動作可能かどうかを判断する。
最後に、CodeQLのバージョン間の脆弱性検出と、精度と精度のトレードオフに関するCodeQLの進化を検証して、CodeQLの安定性について検討する。
CodeQLは合計171のCVEを識別しており、83のCVEでは修正前のCodeQLバージョンが検出可能であることが分かりました。
このような検出は、ファイル間で検出がトリアージされた場合、一般的には実行可能であり、171件の検知の50%では、脆弱性のあるファイルの50%以上が脆弱性のある場所にある。
最後に,21個のCVEがバージョン変更後に検出されなくなり,17個のCVEが再検出されなかったため,CVE検出はバージョン間で単調ではないことを示す。
我々の研究は、多数の脆弱性が導入されるのを防ぐため、SASTツールの使用はベストプラクティスであることを示しているが、開発者はツールのアップデートに盲点を残す可能性のある変更に気付くべきである。
関連論文リスト
- QRS: A Rule-Synthesizing Neuro-Symbolic Triad for Autonomous Vulnerability Discovery [3.52359746858894]
我々はQRS(Query, Review, Sanitize)という,このパラダイムを逆転するニューロシンボリックなフレームワークを紹介します。
静的ルールから結果をフィルタリングする代わりに、QRSは構造化スキーマ定義といくつかの例からCodeQLクエリを生成する3つの自律エージェントを使用して、セマンティック推論と自動エクスプロイト合成を通じて検証する。
人気のPyPIライブラリの20の歴史的CVEでは、QRS 90.6%の精度が検出された。
論文 参考訳(メタデータ) (2026-02-10T13:35:24Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳(メタデータ) (2026-01-30T08:29:01Z) - Multi-Agent Taint Specification Extraction for Vulnerability Detection [49.27772068704498]
コンテナ分析を使用した静的アプリケーションセキュリティテスト(SAST)ツールは、高品質な脆弱性検出結果を提供するものとして広く見なされている。
本稿では,Large Language Models (LLM) のセマンティック理解と従来の静的プログラム解析を戦略的に組み合わせたマルチエージェントシステムであるSemTaintを提案する。
私たちは、SemTaintを最先端のSASTツールであるCodeQLと統合し、これまでCodeQLで検出できなかった162の脆弱性の106を検出して、その効果を実証しています。
論文 参考訳(メタデータ) (2026-01-15T21:31:51Z) - Trace: Securing Smart Contract Repository Against Access Control Vulnerability [58.02691083789239]
GitHubはソースコード、ドキュメント、設定ファイルを含む多数のスマートコントラクトリポジトリをホストしている。
サードパーティの開発者は、カスタム開発中にこれらのリポジトリからコードを参照、再利用、フォークすることが多い。
スマートコントラクトの脆弱性を検出する既存のツールは、複雑なリポジトリを扱う能力に制限されている。
論文 参考訳(メタデータ) (2025-10-22T05:18:28Z) - What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。
LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
論文 参考訳(メタデータ) (2025-09-26T18:06:36Z) - Certifiably robust malware detectors by design [48.367676529300276]
設計によるロバストなマルウェア検出のための新しいモデルアーキテクチャを提案する。
すべての堅牢な検出器を特定の構造に分解することができ、それを経験的に堅牢なマルウェア検出器の学習に適用できることを示す。
我々のフレームワークERDALTはこの構造に基づいている。
論文 参考訳(メタデータ) (2025-08-10T09:19:29Z) - The Impact of SBOM Generators on Vulnerability Assessment in Python: A Comparison and a Novel Approach [56.4040698609393]
Software Bill of Materials (SBOM) は、ソフトウェア構成における透明性と妥当性を高めるツールとして推奨されている。
現在のSBOM生成ツールは、コンポーネントや依存関係を識別する際の不正確さに悩まされることが多い。
提案するPIP-sbomは,その欠点に対処する新しいピップインスパイアされたソリューションである。
論文 参考訳(メタデータ) (2024-09-10T10:12:37Z) - An Empirical Study of Static Analysis Tools for Secure Code Review [14.134803943492345]
静的アプリケーションセキュリティテストツール(SAST)は、セキュリティ問題の識別を強化する可能性がある。
ほとんどのSAST研究は、対象プログラムの合成または完全に脆弱なバージョンに依存している。
我々は、悪用可能な脆弱性に寄与する実際のコード変更のデータセットを使用して、C/C++ SASTを調査する。
論文 参考訳(メタデータ) (2024-07-17T01:15:39Z) - Static Application Security Testing (SAST) Tools for Smart Contracts: How Far Are We? [14.974832502863526]
近年,スマートコントラクトセキュリティの重要性が高まっている。
この問題に対処するため、スマートコントラクトの脆弱性を検出するために、多数の静的アプリケーションセキュリティテスト(SAST)ツールが提案されている。
本稿では,スマートコントラクトに対する45種類の脆弱性を含む,最新のきめ細かな分類法を提案する。
論文 参考訳(メタデータ) (2024-04-28T13:40:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。