論文の概要: ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch
- arxiv url: http://arxiv.org/abs/2609.34450v1
- Date: Mon, 28 Sep 2026 07:06:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 13:29:43.063293
- Title: ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch
- Title（参考訳）: ReproBench: Scratchから脆弱性を再現するLLMエージェントのベンチマーク
- Abstract要約: ReproBenchは、エンドツーエンドの脆弱性再現におけるエージェント能力を評価するために設計されたエビデンスグラウンドのベンチマークである。
ReproBenchを30の実際のIoTファームウェア脆弱性でインスタンス化し、オフスクラッチ評価設定の理想的なテストケースとして役立ちます。
我々の評価では、45.3%のテストが脆弱性シミュレーションに頼っているのに対し、CVEモデルペアの5.3%だけが現実世界の脆弱性の再現に成功している。
- 参考スコア（独自算出の注目度）: 19.283132125358282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly evaluated on cybersecurity tasks such as vulnerability reproduction, exploitation, and patching. However, existing cybersecurity benchmarks predominantly operate under a post-environment evaluation paradigm, i.e., handing the agent source code, a container, or an executable binary. This setup bypasses the critical environment reconstruction step, leaving a fundamental question for real-world vulnerability analysis: can an agent autonomously reconstruct the required execution environment and reproduce a vulnerability entirely from scratch? To address this gap, we present ReproBench, an evidence-grounded benchmark designed to evaluate agent capabilities in end-to-end vulnerability reproduction starting from solely a CVE identifier. ReproBench decomposes the full reproduction workflow into six distinct phases, and assesses performance on each phase independently using verifiable experimental artifacts: downloaded firmware images, unpacked binaries, granular analysis logs, and validated crash samples, among others. We instantiate ReproBench with 30 real-world IoT firmware vulnerabilities, which serve as ideal test cases for our from-scratch evaluation setting. Our evaluation demonstrates that 45.3% of test runs resort to vulnerability simulation - a prevalent remediation workaround adopted across all evaluated LLM agents - while only 5.3% of CVE-model pairs achieve successful reproduction of real-world vulnerabilities. Despite the low overall success rate, these non-trivial successful cases confirm that state-of-the-art LLM agents already possess the capacity for fully autonomous end-to-end vulnerability reproduction. Concurrently, our in-depth analysis of failed cases identifies core bottlenecks impeding LLM agents throughout the reproduction pipeline, offering actionable insights for subsequent research.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、脆弱性の再現、エクスプロイト、パッチングといったサイバーセキュリティタスクでますます評価されている。
しかし、既存のサイバーセキュリティベンチマークは、主に環境後評価パラダイム(エージェントソースコード、コンテナ、実行可能バイナリ)の下で運用されている。
このセットアップは、クリティカル環境の再構築ステップをバイパスし、現実の脆弱性分析に根本的な疑問を残している。エージェントは、自律的に必要な実行環境を再構築し、スクラッチから脆弱性を完全に再現できるだろうか?
このギャップに対処するために、CVE識別子のみから始まるエンドツーエンドの脆弱性再現におけるエージェント機能を評価するために設計されたエビデンスグラウンドのベンチマークであるReproBenchを提案する。
ReproBenchは、完全な再現ワークフローを6つのフェーズに分割し、検証可能な実験成果物(ダウンロードファームウェアイメージ、アンパックバイナリ、粒度分析ログ、検証済みクラッシュサンプルなど)を使用して、各フェーズのパフォーマンスを独立して評価する。
ReproBenchを30の実際のIoTファームウェア脆弱性でインスタンス化し、オフスクラッチ評価設定の理想的なテストケースとして役立ちます。
我々の評価では、45.3%のテストが脆弱性シミュレーション(LLMエージェントに広く採用されている修正回避)に頼っており、CVEモデルペアの5.3%のみが実際の脆弱性の再現に成功した。
全体的な成功率の低いにもかかわらず、これらの非自明な成功例は、最先端のLSMエージェントが完全に自律的なエンドツーエンドの脆弱性複製の能力を持っていることを証明している。
同時に, 失敗事例の詳細な分析により, 再生パイプライン全体にわたってLLMエージェントを阻害するコアボトルネックが特定され, その後の研究に有効な知見が得られた。
関連論文リスト
- Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing [8.293465530619246]
本稿では,2段階の非結合評価フレームワークを提案する。
我々は、マルチエージェント、モノリシック、グラフ駆動アーキテクチャをカバーする、オープンソースの5つの浸透試験エージェントを実証的に評価する。
論文 参考訳（メタデータ） (2026-06-24T02:51:58Z) - Execution-State-Aware LLM Reasoning for Automated Proof-of-Vulnerability Generation [36.950993500170014]
本稿では,PoV生成を反復的仮説検証法として再構成するエージェントフレームワークであるDrillAgentを提案する。
我々は、実世界のC/C++脆弱性の大規模なベンチマークであるSEC-bench上でDrillAgentを評価する。
論文 参考訳（メタデータ） (2026-02-14T03:17:27Z) - Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。
本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。
検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
論文 参考訳（メタデータ） (2026-01-22T09:47:31Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - SecureAgentBench: Benchmarking Secure Code Generation under Realistic Vulnerability Scenarios [17.276786247873613]
SecureAgentBenchは、セキュアなコード生成において、コードエージェントの機能を厳格に評価するために設計された105のコーディングタスクのベンチマークである。
その結果、(i)現在のエージェントがセキュアなコードを生成するのに苦労していることが示され、最高のパフォーマンスのエージェントであるDeepSeek-V3.1がサポートしているSWE-agentも15.2%の正安のソリューションしか達成していない。
論文 参考訳（メタデータ） (2025-09-26T09:18:57Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。
我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
論文 参考訳（メタデータ） (2025-09-03T14:06:10Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - Benchmarking LLMs and LLM-based Agents in Practical Vulnerability Detection for Code Repositories [8.583591493627276]
JitVulは、各関数をその脆弱性導入とコミットの修正にリンクする脆弱性検出ベンチマークである。
思考・行動・観察と相互言語的文脈を活用するReAct Agentsは,良性のあるコードと区別する上で,LLMよりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2025-03-05T15:22:24Z) - The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。
本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。
我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
論文 参考訳（メタデータ） (2025-01-20T06:35:01Z) - AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。