論文の概要: FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs
- arxiv url: http://arxiv.org/abs/2608.25158v1
- Date: Tue, 25 Aug 2026 21:09:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.447885
- Title: FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs
- Title（参考訳）: FuzzingBrain-Bench V1: LLMによるオープンエンドバグ発見の評価
- Abstract要約: FuzzingBrain-Benchは、AIモデルがオープンソースソフトウェアでバグを発見する能力を評価するためのベンチマークである。
各チャレンジにおけるモデルのパフォーマンスは、生成するクラッシュシグネチャの数に基づいてスコアされる。
クロード・オプス4.8は、77回中60回にクラッシュし、579回中196回を記録。
- 参考スコア（独自算出の注目度）: 46.58695049126903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the ability of large language models (LLMs) to discover software bugs is increasingly important. Existing benchmarks typically evaluate this capability by asking the model to generate a proof-of-concept input that triggers a predefined target vulnerability. However, this setup may overlook valid crashes discovered by the model when they do not match the predefined target. As a result, the evaluation may not reflect the model's real capability. We present FuzzingBrain-Bench, a benchmark for assessing AI models' ability to discover bugs in open-source software. Models are given an open-source project and a sanitizer-instrumented harness in a self-contained Docker image. Their goal is to generate inputs that trigger as many distinct crashes as possible through the harness. A model's performance on each challenge is scored based on the number of distinct crash signatures it produces, capped at a predefined maximum and weighted by a difficulty coefficient. FuzzingBrain-Bench V1 consists of 77 challenges drawn from 43 open-source projects, with 36 C, 32 C++, and 9 Java/JVM challenges. We evaluate Claude Haiku 4.5, Claude Sonnet 4.6, and Claude Opus 4.8 on the full benchmark. Claude Opus 4.8 performs best, triggering crashes in 60 of 77 challenges and achieving a score of 196 out of 579. None of the three models triggers a crash in 13 challenges. The FuzzingBrain-Bench corpus and harnesses are publicly available at https://github.com/fuzzingbrain/FuzzingBrain-Bench.
- Abstract（参考訳）: ソフトウェアバグを発見するための大規模言語モデル(LLM)の能力を評価することがますます重要である。
既存のベンチマークでは、事前に定義されたターゲットの脆弱性を引き起こす概念実証入力をモデルに要求することで、この機能を評価するのが一般的である。
しかし、この設定は、事前に定義されたターゲットと一致しないときに、モデルによって発見された有効なクラッシュを見逃す可能性がある。
結果として、評価はモデルの実際の能力を反映しないかもしれない。
FuzzingBrain-Benchは、AIモデルがオープンソースソフトウェアでバグを発見する能力を評価するためのベンチマークである。
モデルは、オープンソースのプロジェクトと、自己完結型のDockerイメージにサニタイザを組み込んだハーネスが与えられる。
彼らの目標は、ハーネスを通じて可能な限り多くの異なるクラッシュを引き起こすインプットを生成することである。
各チャレンジにおけるモデルのパフォーマンスは、生成するクラッシュシグネチャの数に基づいてスコアされ、予め定義された最大値にキャップされ、難易度係数によって重み付けされる。
FuzzingBrain-Bench V1は43のオープンソースプロジェクトから引き出された77の課題で構成されており、36のC、32のC++、9のJava/JVM課題がある。
我々は,全ベンチマークでClaude Haiku 4.5,Claude Sonnet 4.6,Claude Opus 4.8を評価した。
クロード・オプス4.8は、77回中60回にクラッシュし、579回中196回を記録。
いずれのモデルも13のチャレンジでクラッシュを起こさない。
FuzzingBrain-Benchコーパスとハーネスはhttps://github.com/fuzzingbrain/FuzzingBrain-Benchで公開されている。
関連論文リスト
- LLM-Assisted Dynamic Threat Analysis for Attacker-Reachable Software Weaknesses in Autonomous Vehicles [6.008950554571275]
大規模言語モデル(LLM)が自律走行スタックの静的解析を自動化できるかを検討する。
1,375の判定ルール,2,274の検証チェック,482のインプット・トゥ・セーフティ・アウトプットフローを識別し,コンパイラの静的解析を行う。
2つのローカルオープンウェイトLDM、非静的コンテキストアブレーション、ナイーブテンプレートベースラインは3,700個のアーティファクトセットを生成する。
主な結果は、ビルド統合失敗の分類であり、最初のショットコンパイル失敗の80%は、プログラムロジックよりも依存性の配線から発生していることを示している。
論文 参考訳（メタデータ） (2026-08-13T16:33:44Z) - HoF-Bench: Rediscovering Real AI-Discovered CVEs Without Frontier Models [4.552360153162494]
HoF-Benchは、脆弱なコミットにピン留めされた8つのリポジトリにわたる95の公開AI発見CVEから構築されたベンチマークである。
故意に最小限のLCMベースのアナライザは、この厳密なプロトコルの下で95個のCVE (68%) のうち65個をリコライズする。
HoF-Benchは、スキャナの比較のためのコンパクトなテストベッド、繰り返し実行される間の信頼性、そしてそれらが生成する候補ボリュームを提供する。
論文 参考訳（メタデータ） (2026-07-29T15:25:07Z) - Quality-Assured Fuzz Harness Generation via the Four Principles Framework [9.484544174862325]
生成プロセスを通じて正確性を向上させる自律型ハーネス生成システムであるQuartetFuzzを提案する。
コアとなるのはFour Principlesフレームワーク -- Logic Correctness (P1)、API Protocol Compliance (P2)、Security Boundary Respect (P3)、Entry Point Adequacy (P4) である。
論文 参考訳（メタデータ） (2026-05-20T23:48:26Z) - ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents [7.0226553698460465]
ExploitBenchは、エクスプロイトを16個の測定可能なフラグに分解する機能グレードのベンチマークである。
V8が広くデプロイされ、エクスプロイトが強化されているため、41のV8バグに対してExploitBenchをインスタンス化する。
以上の結果から,公開フロンティアモデルとプライベートフロンティアモデルとの間には,大きな差異があることがわかった。
論文 参考訳（メタデータ） (2026-05-13T22:08:05Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。
我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。
Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
論文 参考訳（メタデータ） (2025-08-05T16:28:22Z) - DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。
銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。
我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
論文 参考訳（メタデータ） (2025-05-29T02:22:14Z) - CKGFuzzer: LLM-Based Fuzz Driver Generation Enhanced By Code Knowledge Graph [29.490817477791357]
本稿では,コード知識グラフによって駆動され,インテリジェントエージェントシステムによって駆動されるファズテスト手法を提案する。
コードナレッジグラフは、そのグラフの各ノードがコードエンティティを表す、プログラム間解析によって構築される。
CKGFuzzerは最先端技術と比較してコードカバレッジが平均8.73%向上した。
論文 参考訳（メタデータ） (2024-11-18T12:41:16Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2024-01-09T15:46:38Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳（メタデータ） (2020-10-19T17:06:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。