論文の概要: CyberBinGym: Can AI Agents Turn Binary Patches into Real Exploits?
- arxiv url: http://arxiv.org/abs/2611.10723v1
- Date: Sat, 07 Nov 2026 13:31:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.781407
- Title: CyberBinGym: Can AI Agents Turn Binary Patches into Real Exploits?
- Title(参考訳): サイバーBinGym:AIエージェントはバイナリ・パッチを本物の爆発物に変えることができるのか?
- Abstract要約: セキュリティ修正は通常、コンパイルされた更新時にユーザに到達するが、デプロイメントの遅延により、未パッチのシステムが公開される。
我々はCyberBinGymを紹介した。これは53の広く使われているプロジェクトで実際の脆弱性から派生した100のタスクを含むベンチマークである。
エージェントはソースコードや脆弱性情報なしで、削除された脆弱性とパッチされたバイナリを受け取り、静的解析と動的解析を組み合わせて脆弱性を回復し、悪用する必要がある。
- 参考スコア(独自算出の注目度): 47.08475100607979
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Security fixes usually reach users as compiled updates, but deployment delays leave unpatched systems exposed. During this window, comparing patched and unpatched binaries can reveal how to exploit a vulnerability, turning a defensive update into actionable information for attackers. Existing benchmarks do not measure this capability: they expose source code, rely on human-crafted challenges, or evaluate binary comprehension without requiring exploitation. We introduce CyberBinGym, a benchmark containing 100 tasks derived from real vulnerabilities in 53 widely used projects, spanning six vulnerability families and three levels of analysis complexity. Agents receive stripped vulnerable and patched binaries without source code or vulnerability information, and must combine static and dynamic analysis to recover and exploit the vulnerability. Evaluation separately measures vulnerability recovery through differential crash testing and end-to-end exploitation through flag retrieval, with trajectory audits to reject reward hacking. The strongest evaluated agent recovers the target vulnerability in 88% of tasks and exploits it in 20%. Providing the patched binary raises its exploit rate from 10% to 25% on a matched 20-task subset; with standard binary hardening enabled, it still exploits two of its 20 previously successful tasks. These results demonstrate that current agents can turn released binary patches into working exploits in a controlled setting, although exploitation remains unreliable. These capabilities lower the barriers to targeting unpatched software and compress defenders' effective response window, increasing the urgency of timely patch deployment.
- Abstract(参考訳): セキュリティ修正は通常、コンパイルされた更新時にユーザに到達するが、デプロイメントの遅延により、未パッチのシステムが公開される。
このウィンドウでは、パッチされたバイナリと未パッチのバイナリを比較して、脆弱性を悪用する方法を明らかにし、防御的なアップデートを攻撃者に対して実行可能な情報にする。
既存のベンチマークでは、ソースコードを公開したり、人為的な課題に依存したり、搾取を必要とせずにバイナリの理解を評価したりするなど、この機能は測定されていない。
我々はCyberBinGymというベンチマークを紹介した。53の広く使用されているプロジェクトにおいて、実際の脆弱性から派生した100のタスクが含まれており、6つの脆弱性ファミリーと3レベルの分析複雑性にまたがっている。
エージェントはソースコードや脆弱性情報なしで、削除された脆弱性とパッチされたバイナリを受け取り、静的解析と動的解析を組み合わせて脆弱性を回復し、悪用する必要がある。
評価は、ディファレンシャルクラッシュテストとフラグ検索によるエンドツーエンドのエクスプロイトを通じて、脆弱性回復を別々に測定する。
最も評価の高いエージェントは、タスクの88%でターゲットの脆弱性を回復し、20%でそれを悪用する。
パッチされたバイナリを提供することで、マッチした20タスクサブセットでエクスプロイト率が10%から25%に向上する。
これらの結果は、現在のエージェントが解放されたバイナリパッチを制御された環境で動作可能なエクスプロイトに変換することができることを示している。
これらの機能は、パッチされていないソフトウェアをターゲットにし、ディフェンダーの効果的なレスポンスウィンドウを圧縮する障壁を低くし、タイムリーなパッチ配置の緊急性を高める。
関連論文リスト
- Discovery or Memorization? A Faithful Benchmark for Real-World Business-Logic Vulnerability Discovery [54.222719340971075]
AnonVulは132のアプリケーションレベルのビジネス論理的脆弱性の言語間ベンチマークである。
これは、タスクを匿名化し、専門家が書いた仕様からオラクルを注入し、エクスプロイトを検証する半自動化パイプラインによって構築される。
我々は、AnonVulベンチマークの6つの最新脆弱性発見エージェントを評価し、発見成功、コスト効率、匿名化感度、オラクルの妥当性、障害モードを測定した。
論文 参考訳(メタデータ) (2026-10-13T01:10:42Z) - MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
論文 参考訳(メタデータ) (2026-09-21T01:21:06Z) - Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。
サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。
脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
論文 参考訳(メタデータ) (2026-09-14T17:44:51Z) - VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities [8.261542578922597]
ソフトウェアサプライチェーン脆弱性の悪用性を評価できるLSMエージェントの能力を評価するための最初のベンチマークを紹介する。
VEX-Benchには、GitHubから発掘され、セキュリティの専門家によってラベル付けされた75の現実世界のケースが含まれており、Python、Java、Goをカバーしている。
GPT-5.5とClaude Opus 4.6はバイナリ脆弱性統計分類で約80%のF1に達したが、きめ細かい正当性分類で70%のマクロF1を超えたのはGPT-5.5のみである。
論文 参考訳(メタデータ) (2026-09-07T22:52:09Z) - Cloak and Detonate: Scanner Evasion and Dynamic Detection of Agent Skill Malware [15.064889350201511]
悪意のあるスキルは、認証情報を盗んだり、ソースコードを流出させたり、バックドアをインストールしたりできる。
既存の防御はパターンマッチングやLSM-as-judge分析を用いる。
サンドボックスでスキルを実行する行動中心の監査ツールであるSkillDetonateを提案する。
論文 参考訳(メタデータ) (2026-07-02T16:00:52Z) - ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
低レベルのプログラム推論を必要とするため、爆発は難しい作業です。
その重要性と診断価値にもかかわらず、搾取は未評価のままである。
ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
論文 参考訳(メタデータ) (2026-05-11T18:00:14Z) - Malicious Agent Skills in the Wild: A Large-Scale Security Empirical Study [47.60135753021306]
サードパーティのエージェントスキルは、LLMベースのエージェントを拡張して、命令ファイルとユーザのマシン上で動作する実行可能なコードを生成する。
結果として生じる脅威を特徴づけるために、地中真実のデータセットは存在しない。
我々は,98,380のスキルを行動検証することで,悪質なエージェントスキルのラベル付きデータセットを構築した。
論文 参考訳(メタデータ) (2026-02-06T09:52:27Z) - Agentic Discovery and Validation of Android App Vulnerabilities [8.298163888812233]
既存のAndroidの脆弱性検出ツールは、何千もの低信号警告でチームを圧倒している。
アナリストはこれらの結果をトリガして、セキュリティパイプラインのボトルネックを発生させるのに何日も費やしている。
セキュリティの専門家がAndroidの脆弱性を分析し、検証する方法を反映したシステムであるA2を紹介する。
論文 参考訳(メタデータ) (2025-08-29T12:32:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。