論文の概要: Does AI Help Cyber Attackers or Defenders? Evidence from Nonpublic Vulnerabilities and Subsequent Attacks
- arxiv url: http://arxiv.org/abs/2610.06584v1
- Date: Mon, 05 Oct 2026 16:00:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 07:24:40.808286
- Title: Does AI Help Cyber Attackers or Defenders? Evidence from Nonpublic Vulnerabilities and Subsequent Attacks
- Title(参考訳): AIはサイバー攻撃者やディフェンダーを助けるか?
- Abstract要約: 脆弱性ベンチマークは、以前公開されたアドバイザリ、エクスプロイト、修正にエージェントを公開することができる。
我々は、5つの非公開ソフトウェア環境でのエクスプロイト生成、脆弱性修復、その後の攻撃について、オープンウェイトでプロプライエタリなAIモデルを評価する。
- 参考スコア(独自算出の注目度): 31.927841677556774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The release decision for frontier AI systems increasingly relies on cyber capability benchmarks, yet public vulnerability benchmarks can expose agents to previously published advisories, exploits, and fixes, making it difficult to distinguish prior exposure from capability on unseen vulnerabilities. We evaluate open-weight and proprietary AI models on exploit generation, vulnerability repair and subsequent attacks in five nonpublic software environments, including vulnerabilities we privately disclosed while they remained unpatched. Researcher-developed and reviewed deterministic graders, not LLM judges, determine task scores. Comparisons with 209 disclosed vulnerabilities and cryptographic challenges reveal substantial variation across systems and vulnerability types. Repair scores exceed attack scores in two nonpublic environments and fall below them in three. Passing an initial security test is also insufficient: another exploit succeeds in 92 of 524 non-independent defender test intervals after the initial exploit is stopped. These results motivate vulnerability-specific attack-repair comparisons and subsequent resistance tests.
- Abstract(参考訳): フロンティアAIシステムのリリース決定は、サイバー能力ベンチマークにますます依存しているが、公開脆弱性ベンチマークは、以前公開されたアドバイザリやエクスプロイト、修正にエージェントを公開できるため、予期せぬ脆弱性の能力に対する事前の露出を区別することは困難である。
我々は、エクスプロイト生成、脆弱性修復、その後の攻撃に関する、オープンウェイトでプロプライエタリなAIモデルを、5つの非パブリックなソフトウェア環境で評価した。
LLMの審査員ではなく、研究者によって開発され、レビューされた決定論的グレードは、タスクスコアを決定する。
209の脆弱性と暗号化上の課題を比較すると、システムや脆弱性タイプにかなりの違いが見られる。
修復スコアは2つの非公的な環境で攻撃スコアを超え、その下3つに落ちます。
他のエクスプロイトは、最初のエクスプロイトが停止した後、524の非独立ディフェンダーテストインターバルのうち92で成功する。
これらの結果は、脆弱性固有のアタック・リペア比較とその後の抵抗試験を動機付けている。
関連論文リスト
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
低レベルのプログラム推論を必要とするため、爆発は難しい作業です。
その重要性と診断価値にもかかわらず、搾取は未評価のままである。
ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
論文 参考訳(メタデータ) (2026-05-11T18:00:14Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳(メタデータ) (2026-03-19T10:40:27Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳(メタデータ) (2026-03-16T14:49:36Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - Jailbreak Mimicry: Automated Discovery of Narrative-Based Jailbreaks for Large Language Models [0.0]
大規模言語モデル(LLM)は、高度な迅速なエンジニアリング攻撃に対して脆弱なままである。
我々は、物語ベースのジェイルブレイクプロンプトを自動生成するために、コンパクトアタッカーモデルを訓練するための体系的方法論であるジェイルブレイク・ミミミリを紹介する。
我々のアプローチは、敵の迅速な発見を手作業の職人技から再現可能な科学的プロセスに変換する。
論文 参考訳(メタデータ) (2025-10-24T23:53:16Z) - Cybersecurity AI: Evaluating Agentic Cybersecurity in Attack/Defense CTFs [3.6968315805917897]
我々は、サイバーセキュリティにおける攻撃や防御にAIシステムがより効果的であるかどうかを評価する。
統計分析によると、防御剤は54.3%の制約のないパッチング成功を達成している。
発見は、ディフェンダーがオープンソースのCybersecurity AIフレームワークを採用する緊急性を強調している。
論文 参考訳(メタデータ) (2025-10-20T13:21:09Z) - Agentic Discovery and Validation of Android App Vulnerabilities [8.298163888812233]
既存のAndroidの脆弱性検出ツールは、何千もの低信号警告でチームを圧倒している。
アナリストはこれらの結果をトリガして、セキュリティパイプラインのボトルネックを発生させるのに何日も費やしている。
セキュリティの専門家がAndroidの脆弱性を分析し、検証する方法を反映したシステムであるA2を紹介する。
論文 参考訳(メタデータ) (2025-08-29T12:32:35Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z) - Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。
我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。
評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
論文 参考訳(メタデータ) (2025-06-06T17:33:33Z) - DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified
Robustness [58.23214712926585]
我々は,マルウェア検出領域の非ランダム化スムース化技術を再設計し,DRSM(De-Randomized Smoothed MalConv)を開発した。
具体的には,実行可能ファイルの局所構造を最大に保ちながら,逆数バイトの影響を確実に抑制するウィンドウアブレーション方式を提案する。
私たちは、マルウェア実行ファイルの静的検出という領域で、認証された堅牢性を提供する最初の人です。
論文 参考訳(メタデータ) (2023-03-20T17:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。