論文の概要: CyberChainBench: Can AI Agents Secure Smart Contracts Against Real-World On-Chain Vulnerabilities?
- arxiv url: http://arxiv.org/abs/2606.26216v1
- Date: Wed, 24 Jun 2026 17:58:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.033587
- Title: CyberChainBench: Can AI Agents Secure Smart Contracts Against Real-World On-Chain Vulnerabilities?
- Title(参考訳): CyberChainBench: AIエージェントは現実世界のオンチェーン脆弱性に対してスマートコントラクトをセキュアにできるか?
- Abstract要約: CyberChainBenchは、LLMベースのエージェントをスマートコントラクトセキュリティで評価するためのベンチマークである。
DeFiHackLabsの541の現実世界のエクスプロイトインシデントから構築されたこのベンチマークは、エンドツーエンドのチェーン評価を提供する。
最良の構成は検出で37.5%、エクスプロイトで43.7%、パッチで23.4%である。
- 参考スコア(独自算出の注目度): 28.049089946230513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present CyberChainBench, a benchmark for evaluating LLM-based agents on smart contract security across three complementary tasks: vulnerability detection, exploit generation, and patch synthesis. Built from 541 real-world exploit incidents from DeFiHackLabs spanning 9 EVM chains, the benchmark provides end-to-end on-chain evaluation where agents interact with historical blockchain state through isolated evaluation environments orchestrated by Harbor, using tools to read code, trace transactions, and validate exploits on mainnet forks. Each case is anchored to a specific block and includes structured ground truth covering vulnerability type, localization, and attacker profit. Exploits are graded by economic impact on historical forks; patches are validated by replaying historical attacks and legitimate transactions as fail-to-pass test oracles on a proxy-upgradeable subset. We define a five-type vulnerability taxonomy and evaluate multiple agent--model configurations. Results reveal a clear difficulty gradient: the best configuration scores 37.5% on detection, 43.7% on exploitation, but only 23.4% on patching, with the top agent (Codex with GPT-5.5) realizing \$57.4M in total exploit profit across the 200-case exploit set at a cost of $2.39 per case.
- Abstract(参考訳): 我々は、脆弱性検出、エクスプロイト生成、パッチ合成という3つの補完的なタスクにわたって、LLMベースのエージェントをスマートコントラクトセキュリティで評価するためのベンチマークであるCyberChainBenchを紹介する。
9つのEVMチェーンにまたがるDeFiHackLabsの541の現実世界のエクスプロイトインシデントから構築されたこのベンチマークは、ハーバーによって編成された独立した評価環境を通じて、エージェントが歴史的なブロックチェーン状態と対話し、コードを読み出し、トランザクションをトレースし、メインネットフォーク上のエクスプロイトを検証するツールを使用する、エンドツーエンドのオンチェーン評価を提供する。
各ケースは特定のブロックに固定され、脆弱性タイプ、ローカライゼーション、攻撃者の利益をカバーする構造化された真実を含んでいる。
パッチは、プロキシアップグレード可能なサブセット上のフェイル・ツー・パステストのオラクルとして、歴史的な攻撃と正当なトランザクションを再生することで検証される。
我々は5種類の脆弱性分類を定義し、複数のエージェントモデル構成を評価する。
最高の構成は検出で37.5%、エクスプロイトで43.7%、パッチで23.4%、トップエージェント(コードxとGPT-5.5)は、ケース当たり2.39ドルで200ケースのエクスプロイトで合計で57.4Mのエクスプロイト利益を達成している。
関連論文リスト
- BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。
この対話性は、評価を報酬ハッキングに脆弱にする。
本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
論文 参考訳(メタデータ) (2026-09-10T03:10:58Z) - Beyond Detection: Agentic Attack Synthesis and Simulation for Smart Contracts [9.850249387268157]
KASS(Knowledge-Augmented Attack Synthesis and Simulation)は、スマートコントラクトの検証が可能なマルチエージェントフレームワークである。
自動エクスプロイト生成を計画、生成、テストステージに分解する。
エクスプロイトフローの文書化、潜在的な資産損失の定量化、静的解析ツールのセマンティック偽陽性フィルタとして機能する構造化された攻撃計画を生成する。
論文 参考訳(メタデータ) (2026-07-17T06:31:49Z) - ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
低レベルのプログラム推論を必要とするため、爆発は難しい作業です。
その重要性と診断価値にもかかわらず、搾取は未評価のままである。
ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
論文 参考訳(メタデータ) (2026-05-11T18:00:14Z) - GoAT-X: A Graph of Auditing Thoughts for Securing Token Transactions in Cross-Chain Contracts [52.51342355102833]
マルチチェーンエコシステムの重要な基盤であるクロスチェーンブリッジは、攻撃者にとって主要なターゲットとなっている。
バイトコードレベルの静的解析のような既存の防御は、チェーン間の相互作用のセマンティックな複雑さを扱うには不十分である。
パターンマッチングから体系的な第一原理検証へ自動的なクロスチェーンスマートコントラクト監査を移行するフレームワークであるGoAT-Xを提案する。
論文 参考訳(メタデータ) (2026-04-27T11:34:21Z) - V2E: Validating Smart Contract Vulnerabilities through Profit-driven Exploit Generation and Execution [52.57923394143007]
V2Eは、報告された脆弱性が本当に悪用されているかどうかを検証するための新しいフレームワークである。
V2EはProof-of-Concept(PoC)を自動的に生成し、脆弱性がトリガー可能かどうかを評価し、損失を発生させる。
264のラベル付き契約の評価は、V2Eがベースラインアプローチより優れていることを示している。
論文 参考訳(メタデータ) (2026-04-15T08:24:24Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳(メタデータ) (2026-03-19T10:40:27Z) - On-Chain Decentralized Learning and Cost-Effective Inference for DeFi Attack Mitigation [4.37137147573556]
DeFiプラットフォームでは、ビジネスロジックや会計上の脆弱性を利用したトランザクションによって、毎年数十億ドルが失われている。
i) コスト削減のためにLayer-2上でガス禁止計算を行い、(ii) 検証済みのモデル更新をLayer-1に伝達し、(iii) スマートコントラクト内でガス境界付き低遅延推論を可能にする。
論文 参考訳(メタデータ) (2025-10-15T18:58:34Z) - BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。
脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。
Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
論文 参考訳(メタデータ) (2025-05-21T07:44:52Z) - Insecurity Through Obscurity: Veiled Vulnerabilities in Closed-Source Contracts [11.609699771118116]
本稿では、クローズドソースおよび難読化コントラクトに適した新しいバイトコード解析ツールであるSKANFを紹介する。
SKANFは、コントロールフローの難読化、シンボリック実行、そして過去のトランザクションに基づくコンコリック実行を組み合わせて、資産管理の脆弱性を特定して活用する。
実世界の最大抽出値(MEV)ボットの評価では、SKANFが1,030の契約で脆弱性を検出し、394件のエクスプロイトをうまく生成し、潜在的な損失は106万ドルであることがわかった。
論文 参考訳(メタデータ) (2025-04-18T01:22:58Z) - Smart Contract Fuzzing Towards Profitable Vulnerabilities [10.908512696717724]
VERITEは利益中心のスマートコントラクトファジィフレームワークである。
悪質な脆弱性を検出し、悪用された利益を最大化する。
合計で1800万ドル以上を抽出でき、検出と悪用の両方で最先端のファズーであるITYFUZZよりはるかに優れている。
論文 参考訳(メタデータ) (2025-01-15T14:38:18Z) - ESCORT: Ethereum Smart COntRacTs Vulnerability Detection using Deep
Neural Network and Transfer Learning [80.85273827468063]
既存の機械学習ベースの脆弱性検出方法は制限され、スマートコントラクトが脆弱かどうかのみ検査される。
スマートコントラクトのための初のDeep Neural Network(DNN)ベースの脆弱性検出フレームワークであるESCORTを提案する。
ESCORTは6種類の脆弱性に対して平均95%のF1スコアを達成し,検出時間は契約あたり0.02秒であることを示す。
論文 参考訳(メタデータ) (2021-03-23T15:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。