論文の概要: Discovery or Memorization? A Faithful Benchmark for Real-World Business-Logic Vulnerability Discovery

• arxiv url: http://arxiv.org/abs/2610.17542v1
• Date: Tue, 13 Oct 2026 01:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:28:30.731137
• Title: Discovery or Memorization? A Faithful Benchmark for Real-World Business-Logic Vulnerability Discovery
• Title（参考訳）: 発見か記憶か? 実世界のビジネス論理の脆弱性発見のための忠実なベンチマーク
• Abstract要約: AnonVulは132のアプリケーションレベルのビジネス論理的脆弱性の言語間ベンチマークである。 これは、タスクを匿名化し、専門家が書いた仕様からオラクルを注入し、エクスプロイトを検証する半自動化パイプラインによって構築される。 我々は、AnonVulベンチマークの6つの最新脆弱性発見エージェントを評価し、発見成功、コスト効率、匿名化感度、オラクルの妥当性、障害モードを測定した。
• 参考スコア（独自算出の注目度）: 54.222719340971075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of cybersecurity agents in vulnerability discovery has increased the need for benchmarks that evaluate their capabilities accurately. However, synthetic benchmarks lack realism, real-life benchmarks are prone to contamination, and many existing benchmarks have already been saturated by current models. We therefore set out to develop a benchmark that is realistic, reproducible, resistant to contamination, and challenging. Our key insight is that real-life business-logic vulnerabilities are subtle and exercise complex application interactions, making them naturally demanding. The difficulty lies in specifying evaluation criteria precise enough to faithfully measure model capabilities while keeping the tasks free of data-leakage. We introduce AnonVul, a cross-language benchmark of 132 application-level business-logic vulnerabilities, built by a semi-automated pipeline that anonymizes each task, injects oracles from expert-written specifications, and differentially verifies proof-of-concept exploits. The benchmark spans nine languages, with two evaluation tracks on black-box and grey-box settings, where each task runs in a sandbox with specialized oracles embedded in key exploitation steps. We evaluate six state-of-the-art vulnerability-discovery agents on the AnonVul benchmark, measuring discovery success, cost-effectiveness, anonymization sensitivity, oracle validity, and failure modes. Our results show that AnonVul remains challenging, with the best agent succeeding in only 23.11% of attempts. On a matched cohort of 20 vulnerabilities, restoring software identity increases discovery from 21.25% to 40.83%, highlighting the importance of controlling recognizable software knowledge when evaluating vulnerability discovery.
• Abstract（参考訳）: 脆弱性発見におけるサイバーセキュリティエージェントの急速な進歩は、その能力を正確に評価するベンチマークの必要性を高めている。 しかし、合成ベンチマークは現実主義を欠き、実生活ベンチマークは汚染されがちであり、多くの既存のベンチマークは現在のモデルによって既に飽和している。 そこで我々は、現実的で再現性があり、汚染に抵抗し、挑戦するベンチマークの開発に着手した。 私たちの重要な洞察は、実生活におけるビジネス論理的脆弱性は微妙であり、複雑なアプリケーションインタラクションを実行し、それらが自然に要求されるということです。 この難しさは、データ漏洩のないタスクを維持しながら、モデル能力を忠実に測定するのに十分な正確な評価基準を指定することである。 AnonVulは132のアプリケーションレベルのビジネス論理的脆弱性のクロス言語ベンチマークで、タスクを匿名化し、専門家が書いた仕様からオラクルを注入し、概念実証のエクスプロイトを差分検証する半自動化パイプラインによって構築されます。 ベンチマークは9つの言語にまたがっており、ブラックボックスとグレイボックスの設定で評価トラックが2つある。 我々は、AnonVulベンチマークの6つの最新脆弱性発見エージェントを評価し、発見成功、コスト効率、匿名化感度、オラクルの妥当性、障害モードを測定した。 我々の結果は、AnonVulは依然として挑戦的であり、最高のエージェントはわずか23.11%の試行で成功していることを示している。 20の脆弱性が一致したコホートでは、ソフトウェアアイデンティティの復元は発見を21.25%から40.83%に増加させ、脆弱性発見を評価する際に認識可能なソフトウェア知識を制御することの重要性を強調している。

関連論文リスト

• Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing [8.293465530619246]
  本稿では,2段階の非結合評価フレームワークを提案する。 我々は、マルチエージェント、モノリシック、グラフ駆動アーキテクチャをカバーする、オープンソースの5つの浸透試験エージェントを実証的に評価する。
  論文  参考訳（メタデータ） (2026-06-24T02:51:58Z)
• ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
  低レベルのプログラム推論を必要とするため、爆発は難しい作業です。 その重要性と診断価値にもかかわらず、搾取は未評価のままである。 ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T18:00:14Z)
• Toward Scalable Automated Repository-Level Datasets for Software Vulnerability Detection [0.0]
  本研究では,現実のリポジトリに現実的な脆弱性を注入する自動ベンチマークジェネレータを提案する。 再現可能な脆弱性証明エクスプロイトを合成し、レポレベルの脆弱性検出エージェントをトレーニングおよび評価するための、正確にラベル付けされたデータセットを可能にする。
  論文  参考訳（メタデータ） (2026-03-18T17:38:35Z)
• RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
  LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。 我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
  論文  参考訳（メタデータ） (2026-01-30T08:29:01Z)
• Automated Red-Teaming Framework for Large Language Model Security Assessment: A Comprehensive Attack Generation and Detection System [4.864011355064205]
  本稿では,大規模言語モデル(LLM)におけるセキュリティ脆弱性を明らかにするための,敵のプロンプトを生成し,実行し,評価する自動リピートフレームワークを提案する。 本フレームワークは,メタプロンプトに基づく攻撃合成,マルチモーダル脆弱性検出,および6つの主要な脅威カテゴリにまたがる標準化された評価プロトコルを統合する。 GPT-OSS-20Bモデルの実験では、21の重大度と12の新たな攻撃パターンを含む47の異なる脆弱性が明らかになった。
  論文  参考訳（メタデータ） (2025-12-21T19:12:44Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Shell or Nothing: Real-World Benchmarks and Memory-Activated Agents for Automated Penetration Testing [23.554239007767276]
  本稿では,世界初の実世界のエージェント指向ペンテストベンチマークTermiBenchを紹介する。 本稿では,多エージェント浸透試験フレームワークTermiAgentを提案する。 評価において,本研究は最先端のエージェントより優れ,より強力な浸透試験能力を示す。
  論文  参考訳（メタデータ） (2025-09-11T07:30:44Z)
• VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
  VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2025-09-03T14:06:10Z)
• Deep Learning Models for Robust Facial Liveness Detection [56.08694048252482]
  本研究では,現代のアンチスプーフィング手法の欠陥に対処する新しい深層学習モデルを用いて,ロバストな解を提案する。 テクスチャ解析と実際の人間の特性に関連する反射特性を革新的に統合することにより、我々のモデルは、顕著な精度でレプリカと真の存在を区別する。
  論文  参考訳（メタデータ） (2025-08-12T17:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。