論文の概要: SecLog-Bench: A Scalable Benchmark for Cybersecurity Log Reasoning with Scaffolded Evidence
- arxiv url: http://arxiv.org/abs/2610.31000v1
- Date: Thu, 22 Oct 2026 09:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.308195
- Title: SecLog-Bench: A Scalable Benchmark for Cybersecurity Log Reasoning with Scaffolded Evidence
- Title（参考訳）: SecLog-Bench: スクホールドエビデンスによるサイバーセキュリティログ推論のためのスケーラブルなベンチマーク
- Abstract要約: 私たちは29の攻撃シナリオをカバーするシミュレーションプラットフォームを構築し、繰り返し実行をサポートし、攻撃ステージラベルによるスケーラブルなサイバーセキュリティログの生成を可能にします。
第2に、監査ログ、アプリケーションログ、ネットワークトラフィックを含むマルチソースログを使用して、サイバー攻撃を共同で分析する。
第3に、各サンプルに、サイバーセキュリティログの推論に不可欠なコンテキストと、ステップバイステップのエビデンスチェーンをアノテートする。
- 参考スコア（独自算出の注目度）: 15.342541433268265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown strong potential for cybersecurity, leading to growing interest in LLM-based automated cybersecurity log analysis. However, current datasets (1) are limited in scale; (2) rely mainly on single-source evidence; and (3) have only binary or multi-class attack labels, without dense annotations of the reasoning process. To address these limitations, SecLog-Bench has three key features. First, we build an extensible simulation platform that covers 29 attack scenarios, supports repeated execution and the integration of new scenarios, and enables scalable generation of cybersecurity logs with attack-stage labels. Second, we use multi-source logs, including audit logs, application logs, and network traffic, to jointly analyze cyber attacks. Third, we annotate each sample with the essential context for cybersecurity log reasoning and a structured step-by-step evidence chain. We evaluate eight mainstream LLMs on this benchmark for post-detection attack-progress reasoning. Results show that, when provided with scaffolded evidence, current LLMs exhibit modest capability in attack-progress reasoning, with the best model achieving only 44.44% accuracy and 45.07% Macro-F1. Their reasoning remains unreliable; i.e., the highest Stage Reasoning F1 (SRF1) score is only 54.87%. Moreover, even correct predictions may be accompanied by flawed reasoning, and reasoning quality is often misaligned with prediction accuracy.
- Abstract（参考訳）: 大規模言語モデル(LLM)はサイバーセキュリティの可能性を強く示しており、LLMベースの自動サイバーセキュリティログ分析への関心が高まっている。
しかし、現在のデータセット(1)はスケールに限られており、(2)は主に単一ソースのエビデンスに依存しており、(3)推論プロセスの厳密なアノテーションなしでバイナリまたはマルチクラスアタックラベルしか持たない。
これらの制限に対処するため、SecLog-Benchには3つの重要な機能がある。
まず、29の攻撃シナリオをカバーする拡張可能なシミュレーションプラットフォームを構築し、繰り返し実行と新たなシナリオの統合をサポートし、攻撃ステージラベルによるスケーラブルなサイバーセキュリティログの生成を可能にします。
第2に、監査ログ、アプリケーションログ、ネットワークトラフィックを含むマルチソースログを使用して、サイバー攻撃を共同で分析する。
第3に、各サンプルに、サイバーセキュリティログの推論に不可欠なコンテキストと、ステップバイステップのエビデンスチェーンをアノテートする。
我々は,このベンチマークを用いて,8つの主要なLCMを評価した。
その結果、足場のある証拠が与えられた場合、現在のLLMは攻撃・攻撃の推理において、44.44%の精度と45.07%のマクロ-F1しか達成していない。
彼らの推論は信頼性に欠けており、最も高いステージ推論F1(SRF1)スコアは54.87%である。
さらに、正しい予測も欠点のある推論を伴い、推論品質は予測精度と不一致することが多い。
関連論文リスト
- Reasoning Topology Matters: A Controlled Study of LLM-Based Cybersecurity Analysis [0.685068326729525]
セキュリティ推論トポロジーを導入し、線形、分岐、グラフの3つの代表構造をモデル化する。
我々は、MITRE ATT&CKネットワークトラフィック、サイバー脅威インテリジェンス(CTI)、CVE脆弱性分析を含む3つのサイバーセキュリティデータセットの実験を行った。
結果から、グラフ推論は、データセット全体で9.8-12.2ポイントのプロンプトにより、いくつかのショットよりも改善され、全体的な精度が最も高いことが示されている。
論文 参考訳（メタデータ） (2026-09-21T14:52:30Z) - CryptanalysisBench: Can LLMs do Cryptanalysis? [76.79639292270497]
CryptanalysisBenchは、暗号プリミティブの6つのファミリーにまたがる191のタスクである。
我々のベンチマークは3つの階層から構成されている: (i) 実用的ブレークを既知のプリミティブ; (ii) 実用的ブレークを知らないプリミティブ。
5つのフロンティアモデルではタイア1スキームの65%-86%、全力で6-12ティア2スキーム、全スケールダウンモデルの24-61が破られる。
論文 参考訳（メタデータ） (2026-07-20T22:09:40Z) - From Detection to Response: A Deep Learning and Retrieval-Augmented Generation Framework for Network Intrusion Mitigation [0.7136933021609079]
本稿では,脅威検出と行動応答のギャップを埋める統一的なエンドツーエンドフレームワークを提案する。
まず、独立に訓練された3つのバイナリディープニューラルネットワーク(DNN)のアンサンブルで、ネットワークトラフィックフローをBenign, Denial of Service(DoS)またはDistributed Denial of Service(DDoS)に分類する。
第2に、Retrieval-Augmented Generation (RAG)パイプラインは、トップ5の異常な機能から説明対応プロンプトを構築する。
論文 参考訳（メタデータ） (2026-05-18T07:17:55Z) - TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。
提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。
グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
論文 参考訳（メタデータ） (2026-03-02T22:19:13Z) - Cloud-OpsBench: A Reproducible Benchmark for Agentic Root Cause Analysis in Cloud Systems [51.2882705779387]
Cloud-OpsBenchは、State Snapshot Paradigmを使用して、クラウドの決定論的デジタルツインを構築する大規模なベンチマークである。
フルスタックにまたがる40の根本原因タイプに452の障害ケースがある。
論文 参考訳（メタデータ） (2026-02-28T05:04:42Z) - seqBench: A Tunable Benchmark to Quantify Sequential Reasoning Limits of LLMs [1.0519693622157462]
我々は,Large Language Models (LLMs) における逐次推論限界を探索するベンチマークであるseqBenchを紹介する。
検索の複雑さが最小限であるにもかかわらず、セクベンチの構造的推論タスクでは、トップパフォーマンスモデルでさえ体系的に失敗することがわかった。
論文 参考訳（メタデータ） (2025-09-21T01:32:13Z) - Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。
RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。
我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
論文 参考訳（メタデータ） (2025-06-05T08:40:24Z) - SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。
特定のシナリオは、25倍の攻撃率を被る。
MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
論文 参考訳（メタデータ） (2025-04-09T06:53:23Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - LogPrécis: Unleashing Language Models for Automated Malicious Log Analysis [4.380767833087969]
テキストのようなUnixシェル攻撃ログを自動的に解析するために、言語モデルにおける最先端の利点を示す。
約40,000のUnixシェル攻撃を含む2つの大きなデータセットの分析をサポートするLogPr'ecis機能を示す。
論文 参考訳（メタデータ） (2023-07-17T08:09:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。