論文の概要: From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
- arxiv url: http://arxiv.org/abs/2608.09567v1
- Date: Mon, 10 Aug 2026 13:05:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.279874
- Title: From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
- Title（参考訳）: 実行可能から検証可能へ: LLM/Agent-Driven Vulnerability Validation Artifactsの独立的再現性に関する研究
- Abstract要約: セキュリティ研究成果物は、エージェント駆動の脆弱性によってますます生成される。
公衆に入手可能で、飛行可能で、飛行可能で、飛行可能で、飛行確認済みの人工物とのギャップは、十分に測定されていない。
我々はこの文献について事前登録されたコンセンサス監査を行う。
- 参考スコア（独自算出の注目度）: 4.093009863847175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Security research artifacts---repositories, PoC exploits, and validation pipelines---are increasingly produced by LLM/agent-driven vulnerability workflows, yet the gap between \emph{publicly available}, \emph{runnable}, \emph{signal-producing}, and \emph{semantically confirmed} artifacts is poorly measured. We conduct a pre-registered reproducibility audit of this literature. A search covering 2023--2026 with dual screening yields a 104-paper consensus corpus, of which 59 papers (56.7\%) have a publicly reachable artifact. We execute an 18-paper sample at R0/R1 and all 102 cases of the anchor benchmark (arXiv:2509.24037), with patched-counterfactual verdicts on 30 signal-producing cases and matched-negative-control verdicts on 19. Three findings stand out. First, 58/102 (56.9\%) anchor cases contain a script-internal CVE identifier that diverges from the declared directory CVE. Second, only 10/18 (55.6\%) paper-level artifacts complete their declared workflow at R0, rising to 11/18 (61.1\%) after environment-only R1 repair. Third, artifact-embedded oracles prove unreliable: 20/30 patched-counterfactual audits still produce the claimed signal on the patched build, 7/19 matched negative controls still trigger on benign input, and the oracle confusion matrix has sensitivity 60\% and specificity 45\%. A trigger on the vulnerable build is not evidence of CVE-specific reproduction without a clean patched counterfactual. These are exploratory results from a pre-registered protocol, and our protocol---pre-registered post-conditions, R0/R1 repair ladder, G1--G3 semantic evidence levels, and patched-counterfactual oracles---is a reusable template for the security reproducibility community.
- Abstract（参考訳）: セキュリティ研究アーティファクト--リポジトリ、PoCエクスプロイト、バリデーションパイプライン-は、LLM/エージェント駆動の脆弱性ワークフローによってますます生成されるが、 \emph{publicly available}、 \emph{runnable}、 \emph{signal-production}、 \emph{semantally confirmed}アーティファクト間のギャップは不十分である。
本文献の事前登録再現性監査を行う。
二重スクリーニング付きサーチカバー2023〜2026は104枚のコンセンサスコーパスを出力し、そのうち59枚の紙(56.7\%)は公開可能なアーティファクトを有する。
R0/R1およびアンカーベンチマークの102例すべて(arXiv:2509.24037)で18紙のサンプルを実行する。
3つの発見がある。
まず、58/102 (56.9\%)のアンカーケースには、宣言されたディレクトリCVEから分岐するスクリプト内部CVE識別子が含まれている。
第2に、R0で宣言されたワークフローを完了するのは10/18 (55.6\%)の紙レベルの人工物のみであり、環境のみのR1修復後に11/18 (61.1\%)まで上昇した。
第3に、アーティファクトが埋め込まれたオークルは信頼性が低い:20/30パッチされた数式監査は、まだパッチされたビルド上で要求された信号を生成し、7/19マッチした負の制御は、良性入力をまだ引き起こし、オラクルの混乱行列は、感度60\%と特異性45\%である。
脆弱性のあるビルドのトリガーは、CVE固有の複製の証拠ではない。
これらは事前登録されたプロトコルによる探索的な結果であり、我々のプロトコルは、事前登録されたポストコンディション、R0/R1修復ラグ、G1-G3セマンティックエビデンスレベル、パッチ付きカウンタのオーラクルであり、セキュリティ再現性コミュニティのための再利用可能なテンプレートである。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - EduPluginBench: Executable Assurance for AI-Generated Educational Plugins [0.0]
我々は,ソフトウェアエコシステムにおいて生成したプラグインに対して,負の証明,実行可能なベンチマーク,ステージド・インセプション手法を導入する。
現在の2つの符号化モデルから600世代を凍結した転写研究では300/600が解析されたが、P0を通過させたり、P0-P4適合性を達成したりはしなかった。
初期の540世代の診断では、ホック後のバウンド修理で112回のP0パスが得られたが、全ては不整合であり、リコールは13.4%から100%に増加した。
論文 参考訳（メタデータ） (2026-08-01T16:22:35Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-07-28T10:59:04Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs [0.564046562677526]
リーン4ベースのツールコールアーキテクチャが経験的クレームを管理するのにどのように使用できるかを示します。
検証されたすべての出力は、検査済みのツールコールと、有効な推論のカーネルチェックされたチェーンから構造的に下降する。
正式なサイドカーは、目標命題、ソーススコープ、エビデンス境界、証明義務、棄権条件を監査可能にする。
時間とともに、データセット、API、公開レコード、AI生成ドキュメントの型付きサイドカーは、この形式化の負担を再利用可能なインフラストラクチャに戻すことができる。
論文 参考訳（メタデータ） (2026-07-14T11:33:44Z) - Conductance-Repair Evidence Graphs for Prospective Security Retrieval [0.2864713389096699]
コンダクタンス・リペアエビデンスグラフは、時間的許容マスク上で検索を行うタイムスタンプフレームワークであり、不足チャネルは予測者ではなく決定論的グラフフロー再帰によって拡張される。
現在のアーティファクトは、30の重複した公開セキュリティ記録、57の用語、58の許容可能なドキュメント終端を具体化している。
ランダムエッジ保持では、コンダクタンス修復はリコール@(k)を0.017から0.069に、平均精度は0.062から0.060に変更し、合成セキュリティフィクスチャはリコール@(k)を0.055から0.099に改善した。
論文 参考訳（メタデータ） (2026-07-05T01:03:15Z) - ContractBench: Can LLM Agents Preserve Observation Contracts? [9.057486468322933]
観察契約の遵守は、緊急かつ回帰的な能力であることを示す。
ContractBenchは、2つの障害モードを探索する33の二重軸タスクのベンチマークである。
i)評価モデルが80%,Claude-Opus-4.6が77.8%, (ii)Qwen 3.5で4B (0%) から9B (56.6%) の急激な家庭内能力崖が397B-A17Bで70.7%, (iii) GPT-5ファミリーでの非単調性スケーリングが消失した。
論文 参考訳（メタデータ） (2026-05-17T06:37:04Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation [45.13215113490545]
GuarantRAGは、証拠統合から推論を明示的に分離するフレームワークである。
5つのQAベンチマークの実験では、GurantRAGは最大で12.1%精度が向上している。
論文 参考訳（メタデータ） (2026-04-09T09:52:21Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳（メタデータ） (2026-04-03T14:50:16Z) - What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。
LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
論文 参考訳（メタデータ） (2025-09-26T18:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。