論文の概要: ZeroDayBench: Evaluating LLM Agents on Unseen Zero-Day Vulnerabilities for Cyberdefense

• arxiv url: http://arxiv.org/abs/2603.02297v1
• Date: Mon, 02 Mar 2026 18:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.508258
• Title: ZeroDayBench: Evaluating LLM Agents on Unseen Zero-Day Vulnerabilities for Cyberdefense
• Title（参考訳）: ZeroDayBench:サイバーディフェンスのゼロデイ脆弱性に対するLDMエージェントの評価
• Authors: Nancy Lau, Louis Sloot, Jyoutir Raj, Giuseppe Marco Boscardin, Evan Harris, Dylan Bowman, Mario Brajkovski, Jaideep Chawla, Dan Zhao,
• Abstract要約: 大規模言語モデル(LLM)は、リポジトリに自律的に貢献するソフトウェアエンジニアリングエージェントとして、ますます多くデプロイされている。 LLMエージェントがオープンソースリポジトリで22の新たな重要な脆弱性を発見しパッチするベンチマークであるZeroDayBenchを紹介します。 私たちは、フロンティアLSMは、我々のタスクを自律的に解決し、いくつかの行動パターンを観察することができないことに気付きました。
• 参考スコア（独自算出の注目度）: 1.3106701124821307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly being deployed as software engineering agents that autonomously contribute to repositories. A major benefit these agents present is their ability to find and patch security vulnerabilities in the codebases they oversee. To estimate the capability of agents in this domain, we introduce ZeroDayBench, a benchmark where LLM agents find and patch 22 novel critical vulnerabilities in open-source codebases. We focus our efforts on three popular frontier agentic LLMs: GPT-5.2, Claude Sonnet 4.5, and Grok 4.1. We find that frontier LLMs are not yet capable of autonomously solving our tasks and observe some behavioral patterns that suggest how these models can be improved in the domain of proactive cyberdefense.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、リポジトリに自律的に貢献するソフトウェアエンジニアリングエージェントとして、ますます多くデプロイされている。 これらのエージェントがもたらす大きなメリットは、監視するコードベースのセキュリティ脆弱性を発見してパッチを当てる機能である。 この領域におけるエージェントの能力を評価するために、オープンソースのコードベースにおいて、LLMエージェントが22の新たな致命的な脆弱性を発見しパッチするベンチマークであるZeroDayBenchを紹介します。 我々は、GPT-5.2、Claude Sonnet 4.5、Grok 4.1の3つの人気のあるフロンティアエージェント LLM に焦点を当てている。 私たちは、フロンティアのLLMが、我々のタスクを自律的に解決する能力を持っていないことを発見し、これらのモデルを積極的にサイバー防御の領域でどのように改善できるかを示唆する行動パターンを観察している。

関連論文リスト

• ASTRA: Agentic Steerability and Risk Assessment Framework [3.9756746779772834]
  大規模言語モデル(LLM)を活用したAIエージェントのセキュア化は、今日のAIセキュリティにおける最も重要な課題の1つだ。 ASTRA は LLM の有効性を評価するための第一種フレームワークである。
  論文  参考訳（メタデータ） (2025-11-22T16:32:29Z)
• Are AI-Generated Fixes Secure? Analyzing LLM and Agent Patches on SWE-bench [9.229310642804036]
  我々は,SWE-benchデータセットから2万以上の問題を用いて,LLM生成パッチの大規模セキュリティ解析を行った。 スタンドアロンのLCM(Llama 3.3)によるパッチを評価し,開発者によるパッチと比較した。 また、データのサブセットに基づいて、トップパフォーマンスのエージェントフレームワーク(OpenHands、AutoCodeRover、HoneyComb)3つによって生成されたパッチのセキュリティを評価します。
  論文  参考訳（メタデータ） (2025-06-30T21:10:19Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [50.980446687774645]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Teams of LLM Agents can Exploit Zero-Day Vulnerabilities [3.494084149854375]
  LLMエージェントのチームが実世界のゼロデイ脆弱性を悪用できることを示します。 我々は,サブエージェントを起動可能な計画エージェントを備えたエージェントシステムHPTSAを紹介する。 私たちは14の現実世界の脆弱性のベンチマークを構築し、エージェントのチームが以前のエージェントフレームワークよりも4.3Xまで改善していることを示す。
  論文  参考訳（メタデータ） (2024-06-02T16:25:26Z)
• LLM Agents can Autonomously Exploit One-day Vulnerabilities [2.3999111269325266]
  LLMエージェントは現実世界のシステムにおいて,1日の脆弱性を自律的に悪用できることを示す。 我々の GPT-4 エージェントは高性能に CVE 記述を必要とする。 以上の結果から,高能率LLMエージェントの広範な展開に関する疑問が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-04-11T22:07:19Z)
• LLM Agents can Autonomously Hack Websites [3.5248694676821484]
  大規模言語モデル(LLM)がエージェントとして自律的に機能することを示す。 本研究では,LLMエージェントがWebサイトを自律的にハックできることを示す。 また、GPT-4は、野生のウェブサイトの脆弱性を自律的に発見できることも示している。
  論文  参考訳（メタデータ） (2024-02-06T14:46:08Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。