論文の概要: SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response

• arxiv url: http://arxiv.org/abs/2607.26791v1
• Date: Wed, 29 Jul 2026 11:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.653795
• Title: SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response
• Title（参考訳）: SecRespond: 実世界のポストコンパイルインシデント応答のためのAIエージェントのベンチマーク
• Abstract要約: 我々は、インシデント-レスポンス後のワークフローにおいて、LLM(Large Language Model)エージェントを評価するための最初のベンチマークであるSecRespondを紹介する。 私たちはこのタスクを10のサイバー範囲でインスタンス化します。 実験の結果, 現行のエージェントは警報が発する問題を確実に発見できるが, サイレント侵入の円盤を積極的に調査することは困難であることがわかった。
• 参考スコア（独自算出の注目度）: 38.89333299127352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) agents are increasingly adopted in real-world security operations with access to host artifacts and command-line interfaces (CLIs), making it critical to thoroughly assess their security capabilities. However, existing cybersecurity benchmarks focus on pre-compromise settings where agents are placed in a clean and idealized environment before an attack occurs. This leaves the post-compromise setting underexplored. To address this gap, we introduce SecRespond, the first benchmark for evaluating LLM agents on the post-compromise incident-response workflow. Given a forensic disk snapshot of a compromised host together with the alerts, vulnerability scans, and baseline checks reported by a host security product, agents are required to produce forensic reports on intrusions, baseline risks, and vulnerability risks, together with a remediation plan. We instantiate this task across 10 cyber ranges, each constructed from a distinct compromised cloud host, spanning 4 entry-point types, 21 ATT&CK techniques, and 5 operating systems. We evaluate 23 frontier LLMs on the OpenCode agent harness. Experimental results show that although current agents can reliably uncover the problems exposed by alerts, they struggle to proactively investigate the disk for silent intrusions and to produce comprehensive, verified remediation plans, with no model achieving complete detection and remediation on any single range. This reveals a fundamental bottleneck in building agents for real-world incident response. The benchmark is publicly available at https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ホストアーティファクトとコマンドラインインターフェース(CLI)へのアクセスによって、現実のセキュリティ操作でますます採用されており、セキュリティ機能を徹底的に評価することが重要である。 しかし、既存のサイバーセキュリティベンチマークでは、攻撃が起こる前にエージェントをクリーンで理想的な環境に配置するプリコンパイル設定に焦点を当てている。 これにより、コンパイル後の設定は過小評価されることになる。 このギャップに対処するために、私たちは、インシデント-レスポンスワークフローのコンパイル後ワークフロー上でLLMエージェントを評価するための最初のベンチマークであるSecRespondを紹介します。 セキュリティ製品によって報告された警告、脆弱性スキャン、ベースラインチェックとともに、妥協されたホストの法医学的なディスクスナップショットが与えられた場合、エージェントは、修正計画とともに侵入、ベースラインリスク、脆弱性リスクに関する法医学的なレポートを作成する必要がある。 このタスクは10のサイバー範囲にまたがってインスタンス化され、それぞれ4つのエントリポイントタイプ、21のATT&CK技術、5つのオペレーティングシステムで構成されています。 OpenCodeエージェントハーネス上で23のフロンティアLLMを評価した。 実験の結果、現行のエージェントは警報によって露呈される問題を確実に発見できるが、サイレント侵入の円盤を積極的に調査し、包括的かつ検証された修復計画を作成するのに苦労し、あらゆる単一領域で完全な検出と修復を達成できるモデルがないことがわかった。 これは、現実世界のインシデント対応のためのエージェントを構築する上で、根本的なボトルネックを明らかにします。 ベンチマークはhttps://github.com/Alibaba-NLP/qqr/tree/main/data/secrespondで公開されている。

関連論文リスト

• A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
  攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。 本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
  論文  参考訳（メタデータ） (2026-05-31T15:39:39Z)
• DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
  DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。 DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。 DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
  論文  参考訳（メタデータ） (2026-05-06T11:59:48Z)
• Caging the Agents: A Zero Trust Security Architecture for Autonomous AI in Healthcare [0.0]
  本稿では,医療技術企業において,9つの自律型AIエージェントを実運用環境に配置するセキュリティアーキテクチャを提案する。 我々は、医療におけるエージェントAIの6領域脅威モデルを構築し、クレデンシャルエクスポージャー、実行能力の乱用、ネットワークのエクスプロイト、即時完全性障害、データベースアクセスリスク、およびフリート構成ドリフトをカバーする。 すべての構成、監査ツール、即時整合性フレームワークがオープンソースとしてリリースされている。
  論文  参考訳（メタデータ） (2026-03-18T06:54:47Z)
• AgenticSCR: An Autonomous Agentic Secure Code Review for Immature Vulnerabilities Detection [8.909533914802669]
  我々は、エージェントAIであるAgenticSCRを導入し、コミット前の段階で未熟な脆弱性を検出する。 我々は,未熟な脆弱性の局所化,検出,説明を行うAgenicSCRの精度を実証的に評価した。
  論文  参考訳（メタデータ） (2026-01-27T03:10:12Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• The Hidden Dangers of Browsing AI Agents [0.0]
  本稿では,複数のアーキテクチャ層にまたがるシステム的脆弱性に着目し,このようなエージェントの総合的なセキュリティ評価を行う。 本研究は,ブラウジングエージェントのエンド・ツー・エンドの脅威モデルについて概説し,実環境への展開を確保するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-05-19T13:10:29Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• LlamaFirewall: An open source guardrail system for building secure AI agents [0.5603362829699733]
  大規模言語モデル(LLM)は、単純なチャットボットから複雑なタスクを実行できる自律エージェントへと進化してきた。 リスクを軽減するための決定論的解決策が欠如していることを考えると、リアルタイムガードレールモニターが不可欠である。 私たちはオープンソースのセキュリティにフォーカスしたガードレールフレームワークであるLlamaFirewallを紹介します。
  論文  参考訳（メタデータ） (2025-05-06T14:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。