論文の概要: CyberClear: A Benchmark for LLM Agent Systems on APT Attack Chain Provenance
- arxiv url: http://arxiv.org/abs/2609.32424v1
- Date: Sat, 26 Sep 2026 09:55:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 09:17:56.004346
- Title: CyberClear: A Benchmark for LLM Agent Systems on APT Attack Chain Provenance
- Title(参考訳): CyberClear: APTアタックチェーン効果に関するLLMエージェントシステムのベンチマーク
- Abstract要約: CyberClearは、長期のセキュリティログからAPT攻撃チェーン前駆体上でLLMエージェントと高度なエージェントシステムを評価するためのベンチマークである。
表面レベルのマッチングに焦点を当てた従来のテキスト類似度指標とは異なり、再構成されたグラフが攻撃連鎖のセマンティクスを保存するかどうかを検討する。
我々は,複数エージェントを対象としたエージェントサイバーハーネスであるCyberProvenanceを提案する。
- 参考スコア(独自算出の注目度): 30.970759048557778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model agents have demonstrated promising capabilities in cybersecurity tasks, yet their ability to reconstruct complete Advanced Persistent Threat attack campaigns from complex security logs remains largely unexplored. Existing cybersecurity benchmarks for agents mainly focus on vulnerability discovery, exploitation, and security analysis tasks, leaving the evaluation of attack chain provenance under realistic security logs insufficiently studied. To address this gap, we introduce CyberClear, a benchmark for evaluating LLM agents and advanced agent systems on APT attack chain provenance from long-context security logs. CyberClear covers both single-step attacks and multi-stage attack chains, requiring agents to identify attack evidence, infer attack progression, and generate provenance graphs containing entities, causal relationships, MITRE ATT&CK techniques, and forensic evidence. To enable comprehensive evaluation, we develop an evaluation method tailored to APT attack chain provenance. Unlike conventional text similarity metrics that focus on surface-level matching, our evaluation examines whether reconstructed graphs preserve the semantics of attack chains across single-step behavior correctness, multi-step behavior identification, temporal and causal consistency, entity and relationship fidelity, and overall attack narrative consistency. Advanced multi-agent systems powered by state-of-the-art LLMs still struggle on CyberClear, motivating us to propose CyberProvenance, an agent cyber harness designed for multi-agents that augments LLM agents with evidence accumulation, execution-based validation, and feedback-guided refinement mechanisms for reliable attack-chain provenance. Extensive evaluations on CyberClear demonstrate the effectiveness of CyberProvenance in improving evidence reasoning, execution-grounded validation, and complete APT attack chain reconstruction.
- Abstract(参考訳): 大規模言語モデルエージェントは、サイバーセキュリティタスクにおいて有望な能力を示したが、複雑なセキュリティログから高度な脅威攻撃を再構築する能力はほとんど解明されていない。
エージェントに対する既存のサイバーセキュリティベンチマークは、主に脆弱性発見、エクスプロイト、およびセキュリティ分析タスクに焦点を当てており、現実的なセキュリティログ下での攻撃チェーンの証明の評価は不十分である。
このギャップに対処するために,長文のセキュリティログからLPMエージェントと高度なエージェントシステムを評価するベンチマークであるCyberClearを導入する。
CyberClearは、シングルステップ攻撃とマルチステージ攻撃チェーンの両方をカバーし、攻撃証拠を特定し、攻撃の進行を推測し、実体、因果関係、MITRE ATT&CK技術、および法医学的証拠を含む証明グラフを生成することをエージェントに要求している。
包括的評価を可能にするため,APTアタックチェーン前駆体に適した評価手法を開発した。
表層マッチングに焦点を当てた従来のテキスト類似度指標とは異なり、再構成されたグラフは、単一ステップの行動正当性、多段階の行動識別、時間的・因果的一貫性、実体的・関係的忠実性、全体的な攻撃的物語的整合性などにわたって攻撃連鎖のセマンティクスを保っているかを検討する。
最先端のLLMによる高度なマルチエージェントシステムは、まだCyberClearに苦戦している。CyberProvenanceは、複数のエージェント向けに設計されたエージェントサイバーハーネスで、LCMエージェントに証拠の蓄積、実行ベースの検証、信頼性の高いアタックチェーン前駆体のためのフィードバック誘導リファインメント機構を付加する。
CyberClearの大規模な評価は、CyberProvenanceがエビデンス推論、実行基盤検証、APTアタックチェーンの完全な再構築の改善に有効であることを実証している。
関連論文リスト
- AI-Based Vulnerability Assessment Capability and Cyber Attack Graph Analysis [0.5621251909851629]
ミッションクリティカルなインフラをターゲットとするサイバー脅威は、ますます高度化しつつある。
アンチウイルスやファイアウォールのような従来のポイントソリューションは反応性があり、現代の攻撃面の複雑さに対処できない。
本稿では,2つの相補的手法を組み合わせた研究について述べる。
論文 参考訳(メタデータ) (2026-09-28T15:29:22Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳(メタデータ) (2026-05-28T02:12:41Z) - Prompt-Unknown Promotion Attacks against LLM-based Sequential Recommender Systems [51.504307822017985]
大規模言語モデルを用いたシーケンシャルレコメンデータシステム(LLM-SRS)は,最近顕著な性能を示した。
本稿では, LLM-SRSにおけるアイテムプロモーション攻撃について, 攻撃者に対してシステムプロンプトと被害者モデルの両方が未知な状況下で, より現実的な状況下で検討する。
論文 参考訳(メタデータ) (2026-04-26T10:09:26Z) - Co-RedTeam: Orchestrated Security Discovery and Exploitation with LLM Agents [57.49020237126194]
大規模言語モデル(LLM)はサイバーセキュリティタスクを支援することを約束しているが、既存のアプローチでは自動脆弱性発見とエクスプロイトに苦労している。
Co-RedTeamは,現実世界のレッドチームのミラーリングを目的とした,セキュリティを意識したマルチエージェントフレームワークである。
Co-RedTeamは、脆弱性分析をコーディネートされた発見およびエクスプロイトステージに分解し、エージェントがアクションを計画、実行、検証、洗練できるようにする。
論文 参考訳(メタデータ) (2026-02-02T14:38:45Z) - Agentic AI for Autonomous Defense in Software Supply Chain Security: Beyond Provenance to Vulnerability Mitigation [0.0]
本論文は,自律型ソフトウェアサプライチェーンセキュリティに基づくエージェント人工知能(AI)の例を含む。
大規模言語モデル(LLM)ベースの推論、強化学習(RL)、マルチエージェント調整を組み合わせている。
その結果、エージェントAIは、自己防衛的で積極的なソフトウェアサプライチェーンへの移行を促進することが示されている。
論文 参考訳(メタデータ) (2025-12-29T14:06:09Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳(メタデータ) (2025-10-03T12:47:21Z) - Servant, Stalker, Predator: How An Honest, Helpful, And Harmless (3H) Agent Unlocks Adversarial Skills [3.0620527758972496]
本稿では,モデルコンテキストプロトコルに基づくエージェントシステムにおいて,新たな脆弱性クラスを特定し,解析する。
このアタックチェーンは、有害な緊急行動を生み出すために、個々に認可された個々のタスクをどのように編成するかを説明し、実証する。
論文 参考訳(メタデータ) (2025-08-27T01:11:59Z) - CLIProv: A Contrastive Log-to-Intelligence Multimodal Approach for Threat Detection and Provenance Analysis [6.680853786327484]
本稿では,ホストシステムにおける脅威行動を検出する新しいアプローチであるCLIProvを紹介する。
脅威インテリジェンスに攻撃パターン情報を活用することで、CLIProvはTTPを特定し、完全かつ簡潔な攻撃シナリオを生成する。
最先端の手法と比較して、CLIProvは精度が高く、検出効率が大幅に向上している。
論文 参考訳(メタデータ) (2025-07-12T04:20:00Z) - AttackSeqBench: Benchmarking Large Language Models in Analyzing Attack Sequences within Cyber Threat Intelligence [17.234214109636113]
サイバー脅威インテリジェンス(CTI)は、敵の行動と行動可能な知識への意図に関する証拠を合成し、サイバー脅威の観察を文書化している。
CTIレポートの非構造的かつ冗長な性質は、セキュリティ実践者が手動でこのようなシーケンスを抽出し分析する上で大きな課題となる。
大規模言語モデル(LLM)は、エンティティ抽出や知識グラフ構築などのサイバーセキュリティタスクにおいて有望であるが、それらの理解と行動シーケンスに対する推論能力はいまだ探索されていない。
論文 参考訳(メタデータ) (2025-03-05T04:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。