論文の概要: HoF-Bench: Rediscovering Real AI-Discovered CVEs Without Frontier Models
- arxiv url: http://arxiv.org/abs/2607.27030v1
- Date: Wed, 29 Jul 2026 15:25:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.725862
- Title: HoF-Bench: Rediscovering Real AI-Discovered CVEs Without Frontier Models
- Title(参考訳): HoF-Bench:フロンティアモデルなしの真のAI発見CVE
- Abstract要約: HoF-Benchは、脆弱なコミットにピン留めされた8つのリポジトリにわたる95の公開AI発見CVEから構築されたベンチマークである。
故意に最小限のLCMベースのアナライザは、この厳密なプロトコルの下で95個のCVE (68%) のうち65個をリコライズする。
HoF-Benchは、スキャナの比較のためのコンパクトなテストベッド、繰り返し実行される間の信頼性、そしてそれらが生成する候補ボリュームを提供する。
- 参考スコア(独自算出の注目度): 4.552360153162494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based analyzers have begun finding real vulnerabilities in mature open-source projects: AISLE's analyzer is credited with more than 280 CVEs across 78 projects, including OpenSSL, curl, and GnuTLS. We introduce HoF-Bench (named after AISLE's public Hall of Fame), a benchmark built from 95 of these public AI-discovered CVEs across eight repositories pinned at vulnerable commits. Analyzers receive source and target-file scope but not CVE identifiers, descriptions, fixes, or expected mechanisms; a detector-blinded frontier-model judge credits only findings that identify the same code path, root cause, attack condition, and impact. A deliberately minimal LLM-based analyzer rediscovers up to 65 of the 95 CVEs (68%) under this strict protocol. No frontier model performs detection anywhere in the study. The ten detector backbones are five open-weight models (21B--284B total parameters, 3--13B active) and five proprietary small or "flash"-tier models. All of them run in the fixed scaffold with four repeated passes, an optional generated-context stage, and a replayable multi-round triage stage (7,600 model--CVE pass records). Difficulty is strongly structured by language; the CVEs missed by every model concentrate in C infrastructure code. HoF-Bench provides a compact test bed for comparing vulnerability scanners, their reliability across repeated runs, and the candidate volume they create. The dataset is available at https://huggingface.co/datasets/aisleinc/HoF-Bench.
- Abstract(参考訳): AISLEのアナライザは、OpenSSL、curl、GnuTLSを含む78のプロジェクトにわたる280以上のCVEでクレジットされている。
AISLEのパブリック殿堂にちなむ)HoF-Benchを紹介します。このベンチマークは、脆弱なコミットにピン留めされた8つのリポジトリにまたがる、これらの公開AIによって発見されたCVEの95から構築されたものです。
アナライザはソースとターゲットファイルの範囲を受信するが、CVE識別子、説明、修正、あるいは期待されるメカニズムではない。
故意に最小限のLCMベースのアナライザは、この厳密なプロトコルの下で95個のCVE (68%) のうち65個をリコライズする。
研究のどこにでも検出を行うフロンティアモデルはない。
10個の検出器のバックボーンは5つのオープンウェイトモデル(総パラメータ21B--284B、アクティブ3-13B)と5つのプロプライエタリな小型または「フラッシュ」層モデルである。
それらはすべて固定された足場で実行され、4つの繰り返しパス、オプションで生成されたコンテキストステージ、再生可能なマルチラウンドトリアージステージ(7,600モデル-CVEパスレコード)がある。
難易度は言語によって強く構成されている。CVEはCインフラストラクチャコードに集中しているすべてのモデルによって見逃されている。
HoF-Benchは、脆弱性スキャナと繰り返し実行される信頼性、生成する候補ボリュームを比較するための、コンパクトなテストベッドを提供する。
データセットはhttps://huggingface.co/datasets/aisleinc/HoF-Benchで公開されている。
関連論文リスト
- FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs [46.58695049126903]
FuzzingBrain-Benchは、AIモデルがオープンソースソフトウェアでバグを発見する能力を評価するためのベンチマークである。
各チャレンジにおけるモデルのパフォーマンスは、生成するクラッシュシグネチャの数に基づいてスコアされる。
クロード・オプス4.8は、77回中60回にクラッシュし、579回中196回を記録。
論文 参考訳(メタデータ) (2026-08-25T21:09:20Z) - CyberForge: Verified Vulnerability Injection at Repository Level for Cybersecurity Agent Training [42.087410274052836]
CyberForgeは、実際のC/C++プロジェクトに脆弱性を注入することで、実行可能なリポジトリレベルのセキュリティトレーニングデータを合成するフレームワークである。
結果として得られたコーパスには、80のプロジェクトにわたる検証済みの脆弱性1034と、63の弱点が含まれている。
このコーパスで収集された軌道の微調整により、SECのパッチの修理は+3.3から+14.7ポイント改善される。
論文 参考訳(メタデータ) (2026-08-06T18:03:27Z) - Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining [0.7844254062143549]
大規模言語モデル(LLM)はセキュリティ上の脆弱性のあるコードを生成することが多いが、これらの弱点を分離することは滅多にない。
本稿では,セキュリティ指向のメタモルフィックリレーショナル(MR)とアソシエーションルール(AR)マイニングを組み合わせて,LLM生成コードの脆弱性を検出するフレームワークを提案する。
論文 参考訳(メタデータ) (2026-07-13T19:10:10Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。
既存のアプローチは、ゼロから完全なモデル実装を生成します。
我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文 参考訳(メタデータ) (2026-05-06T13:32:05Z) - Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection [0.0]
SecLens-Rは、35の共有次元を7つの測定カテゴリに分けて構成するマルチステークホルダー評価フレームワークである。
93のオープンソースプロジェクトから派生した406タスクのデータセット上で,SecLens-Rを用いて12のフロンティアモデルを評価する。
結果は、利害関係者の視点でかなりの変動を示し、決定スコアは同じモデルで最大31ポイント異なる。
論文 参考訳(メタデータ) (2026-04-02T05:25:50Z) - What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。
LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
論文 参考訳(メタデータ) (2025-09-26T18:06:36Z) - DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。
銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。
我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
論文 参考訳(メタデータ) (2025-05-29T02:22:14Z) - AutoPatch: Multi-Agent Framework for Patching Real-World CVE Vulnerabilities [7.812032134834162]
大規模言語モデル(LLM)はソフトウェア開発において有望なツールとして登場した。
彼らの知識は、固定されたカットオフ日に限定されており、新しく公開されたCVEに脆弱なコードを生成する傾向がある。
脆弱なLLM生成コードにパッチを当てるためのフレームワークであるAutoPatchを提案する。
論文 参考訳(メタデータ) (2025-05-07T07:49:05Z) - IRIS: LLM-Assisted Static Analysis for Detecting Security Vulnerabilities [14.188864624736938]
大規模な言語モデル(LLM)は印象的なコード生成機能を示しているが、そのような脆弱性を検出するためにコードに対して複雑な推論を行うことはできない。
我々は,LLMと静的解析を体系的に組み合わせ,セキュリティ脆弱性検出のための全体リポジトリ推論を行うニューロシンボリックアプローチであるIRISを提案する。
論文 参考訳(メタデータ) (2024-05-27T14:53:35Z) - How secure is AI-generated Code: A Large-Scale Comparison of Large Language Models [3.4887856546295333]
本研究では,C言語記述時の脆弱性発生傾向について,最先端のLarge Language Model (LLM)を比較した。
生成されたプログラムの少なくとも62.07%は脆弱性がある。
論文 参考訳(メタデータ) (2024-04-29T01:24:14Z) - On the Security Blind Spots of Software Composition Analysis [46.1389163921338]
Mavenリポジトリで脆弱性のあるクローンを検出するための新しいアプローチを提案する。
Maven Centralから53万以上の潜在的な脆弱性のあるクローンを検索します。
検出された727個の脆弱なクローンを検出し、それぞれに検証可能な脆弱性証明プロジェクトを合成する。
論文 参考訳(メタデータ) (2023-06-08T20:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。