論文の概要: CrossCommitVuln-Bench: A Dataset of Multi-Commit Python Vulnerabilities Invisible to Per-Commit Static Analysis
- arxiv url: http://arxiv.org/abs/2604.21917v1
- Date: Thu, 23 Apr 2026 17:57:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.818916
- Title: CrossCommitVuln-Bench: A Dataset of Multi-Commit Python Vulnerabilities Invisible to Per-Commit Static Analysis
- Title（参考訳）: CrossCommitVuln-Bench: コミット単位の静的解析で見えないマルチコミットPython脆弱性のデータセット
- Authors: Arunabh Majumdar,
- Abstract要約: CrossCommitVuln-Benchは15の現実のPython脆弱性のベンチマークである。
コミット毎検出率(CCDR)は15の脆弱性すべてに対して13%である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present CrossCommitVuln-Bench, a curated benchmark of 15 real-world Python vulnerabilities (CVEs) in which the exploitable condition was introduced across multiple commits - each individually benign to per-commit static analysis - but collectively critical. We manually annotate each CVE with its contributing commit chain, a structured rationale for why each commit evades per-commit analysis, and baseline evaluations using Semgrep and Bandit in both per-commit and cumulative scanning modes. Our central finding: the per-commit detection rate (CCDR) is 13% across all 15 vulnerabilities - 87% of chains are invisible to per-commit SAST. Critically, both per-commit detections are qualitatively poor: one occurs on commits framed as security fixes (where developers suppress the alert), and the other detects only the minor hardcoded-key component while completely missing the primary vulnerability (200+ unprotected API endpoints). Even in cumulative mode (full codebase present), the detection rate is only 27%, confirming that snapshot-based SAST tools often miss vulnerabilities whose introduction spans multiple commits. The dataset, annotation schema, evaluation scripts, and reproducible baselines are released under open-source licenses to support research on cross-commit vulnerability detection.
- Abstract（参考訳）: ここでは、CrossCommitVuln-Benchという15の現実のPython脆弱性(CVE)のキュレートされたベンチマークを紹介します。
手動でCVEにコミットチェーンをアノテートし、コミット毎にコミットが回避される理由と、コミットごとのスキャンモードと累積スキャンモードの両方でSemgrepとBanditを用いてベースライン評価を行う。
中心的な発見: コミット毎検出率(CCDR)は15の脆弱性すべてに対して13%です。
ひとつはセキュリティ修正(開発者が警告を抑圧する場所)としてフレーム化されたコミットで発生し、もうひとつはマイナーなハードコードキーコンポーネントのみを検出しながら、プライマリな脆弱性(200以上の保護されていないAPIエンドポイント)を完全に失っている。
累積モード(完全なコードベース)でさえ、検出率は27%に過ぎず、スナップショットベースのSASTツールは、複数のコミットにまたがる脆弱性を見逃すことが多いことを確認している。
データセット、アノテーションスキーマ、評価スクリプト、再現可能なベースラインはオープンソースライセンスの下でリリースされ、クロスコミット脆弱性検出の研究をサポートする。
関連論文リスト
- Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Favia: Forensic Agent for Vulnerability-fix Identification and Analysis [5.43098755190303]
脆弱性修正識別のための法医学的エージェントベースのフレームワークであるFaviaを提案する。
Faviaは、スケーラブルな候補ランキングと、深く反復的なセマンティック推論を組み合わせる。
私たちは、実世界の3,708のリポジトリから800万以上のコミットからなる大規模なデータセットであるCVEVC上で、Faviaを評価しました。
論文 参考訳（メタデータ） (2026-02-13T00:51:22Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。
LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
論文 参考訳（メタデータ） (2025-09-26T18:06:36Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Mono: Is Your "Clean" Vulnerability Dataset Really Solvable? Exposing and Trapping Undecidable Patches and Beyond [10.072175823846973]
既存のセキュリティパッチは、しばしば不正確なラベル、不十分なコンテキスト情報、決定不能なパッチに悩まされる。
信頼性のある脆弱性データセットを構築するための、人間の専門家の推論プロセスをシミュレートする、新しいフレームワークであるmonoを紹介します。
monoはラベリングエラーの31.0%を補正し、プロデュール間脆弱性の89%を回復し、CVEの16.7%が決定不能なパッチを含んでいることを明らかにした。
論文 参考訳（メタデータ） (2025-06-04T07:43:04Z) - Fast and Accurate Silent Vulnerability Fix Retrieval [7.512949497610182]
CVEを修正するためのパッチコミットをトレース/検索する既存のアプローチは、2つの大きな課題に悩まされている。
SITPatchTracerは、既知の脆弱性パッチをトレースするスケーラブルで効果的な検索システムである。
SITPatchTracerを使って、GitHub Advisoryデータベース内の35の新しいCVEのパッチリンクをトレースしてマージしました。
論文 参考訳（メタデータ） (2025-03-29T01:53:07Z) - Fixseeker: An Empirical Driven Graph-based Approach for Detecting Silent Vulnerability Fixes in Open Source Software [12.706661324384319]
オープンソースソフトウェアの脆弱性は、ダウンストリームアプリケーションに重大なセキュリティリスクをもたらす。
多くのセキュリティパッチは、セキュリティへの影響を明確に示すことなく、OSSリポジトリの新しいコミットで静かにリリースされている。
グラフベースのアプローチであるFixseekerを提案し、ハンクレベルでのコード変更間の様々な相関関係を抽出し、無声脆弱性の修正を検出する。
論文 参考訳（メタデータ） (2025-03-26T06:16:58Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳（メタデータ） (2023-07-04T01:34:41Z) - Multi-Granularity Detector for Vulnerability Fixes [13.653249890867222]
脆弱性修正のためのMiDa(Multi-Granularity Detector for Vulnerability Fixes)を提案する。
MiDasはコミットレベル、ファイルレベル、ハンクレベル、ラインレベルに対応して、コード変更の粒度ごとに異なるニューラルネットワークを構築する。
MiDasは、現在の最先端のベースラインをAUCで4.9%、JavaとPythonベースのデータセットで13.7%上回っている。
論文 参考訳（メタデータ） (2023-05-23T10:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。