論文の概要: Evaluating Coding Agents on Kernel Exploit Generation
- arxiv url: http://arxiv.org/abs/2609.25591v1
- Date: Tue, 22 Sep 2026 02:35:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.184005
- Title: Evaluating Coding Agents on Kernel Exploit Generation
- Title（参考訳）: カーネル爆発生成における符号化エージェントの評価
- Abstract要約: KEX-benchは,実オペレーティングシステムカーネルに対するプリミティブ生成を利用したコーディングエージェントの評価ベンチマークである。
KEX-benchには、40のLinuxおよびWindows CVEにまたがる45のタスクインスタンスが含まれており、カーネルアドレスのリーク、命令-ポインタ制御、ヒープ読み込み、ヒープ書き込み、任意のアドレス書き込みをカバーしている。
我々は,固定ツールコール予算の下で,フロンティアモデルとオープンウェイトモデルを組み合わせた最先端のコーディングエージェントの評価を行った。
- 参考スコア（独自算出の注目度）: 6.300827546155721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents now find real vulnerabilities in production software. However, bug discovery results do not measure whether agents can construct exploit primitives. We introduce KEX-bench, a benchmark for evaluating coding agents on exploit primitive generation against real operating-system kernels. KEX-bench contains 45 task instances across 40 Linux and Windows CVEs, covering kernel address leak, instruction-pointer control, heap read, heap write, and arbitrary address write. Each task runs in an isolated virtual machine, exposes controlled tools, and uses a deterministic verifier to check primitive-specific success. We evaluate state-of-the-art coding agents paired with frontier and open-weight models under fixed tool-call budgets. Without a reference proof of concept (PoC), the strongest configuration solves 1 of 20 Windows tasks (5.0%) and 14 of 25 Linux tasks (56.0%). With a reference PoC, the strongest configuration solves 31 of 45 tasks (68.9%). This highlights the gap where agents reach kernel crashes but fail to shape kernel state into exploit primitives. We release KEX-bench for reproducible research on AI-assisted exploitation at https://kex-bench.github.io.
- Abstract（参考訳）: コーディングエージェントは、本番ソフトウェアに本当の脆弱性を見つける。
しかし、バグ発見の結果は、エージェントがエクスプロイトプリミティブを構築できるかどうかを測るものではない。
KEX-benchは,実オペレーティングシステムカーネルに対するプリミティブ生成を利用したコーディングエージェントの評価ベンチマークである。
KEX-benchには、40のLinuxおよびWindows CVEにまたがる45のタスクインスタンスが含まれており、カーネルアドレスのリーク、命令-ポインタ制御、ヒープ読み込み、ヒープ書き込み、任意のアドレス書き込みをカバーしている。
各タスクは分離された仮想マシンで動作し、コントロールされたツールを公開し、決定論的検証を使用してプリミティブ固有の成功をチェックする。
我々は,固定ツールコール予算の下で,フロンティアモデルとオープンウェイトモデルを組み合わせた最先端のコーディングエージェントの評価を行った。
概念実証(PoC)がなければ、最も強い構成は、20タスク中1タスク(5.0%)と25タスク中14タスク(56.0%)を解決している。
参照PoCでは、最強構成は、45タスク中31タスク(68.9%)を解決している。
これは、エージェントがカーネルクラッシュに到達するが、カーネル状態がプリミティブを悪用するのに失敗するギャップを浮き彫りにする。
我々は https://kex-bench.github.io.でAIによるエクスプロイトに関する再現可能な研究のためにKEX-benchをリリースした。
関連論文リスト
- MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
論文 参考訳（メタデータ） (2026-09-21T01:21:06Z) - SWE-Test: Benchmarking LLM Vulnerability Discovery via Input Prediction [13.719725391379276]
脆弱性発見は、大規模言語モデル(LLM)エージェントの重要な機能である。
我々は、その測定を、クローズドな決定論的基底真理を持つ入力予測タスクとして再放送する。
これにより、発見は15ドメインにまたがる22の現実世界のC/C++プログラムで3つのタスクモードに分解される。
論文 参考訳（メタデータ） (2026-09-05T19:04:41Z) - ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
低レベルのプログラム推論を必要とするため、爆発は難しい作業です。
その重要性と診断価値にもかかわらず、搾取は未評価のままである。
ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
論文 参考訳（メタデータ） (2026-05-11T18:00:14Z) - Symbolic Execution Meets Multi-LLM Orchestration: Detecting Memory Vulnerabilities in Incomplete Rust CVE Snippets [0.21485350418225244]
本稿では,シンボル実行(KLEE)と4エージェントのマルチLLMアーキテクチャを組み合わせて,Rustの安全でないコードのメモリ脆弱性を検出するシステムを提案する。
CVEデータベースエントリは、構造体定義、インポート、Cargoマニフェストを欠いた分離されたコードスニペットのみを提供する。
論文 参考訳（メタデータ） (2026-04-28T01:27:09Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - CrashFixer: A crash resolution agent for the Linux kernel [58.152358195983155]
この作業は、システムレベルのLinuxカーネルバグのベンチマークと、Linuxカーネルで実験を実行するプラットフォームを共有するkGymの上に構築されている。
CrashFixerはLinuxカーネルのバグに適応する最初のLCMベースのソフトウェア修復エージェントである。
論文 参考訳（メタデータ） (2025-04-29T04:18:51Z) - KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。
現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。
このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
論文 参考訳（メタデータ） (2024-07-02T21:44:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。