Fugu-MT 論文翻訳(概要): Cyber Defense Benchmark: Agentic Threat Hunting Evaluation for LLMs in SecOps

論文の概要: Cyber Defense Benchmark: Agentic Threat Hunting Evaluation for LLMs in SecOps

arxiv url: http://arxiv.org/abs/2604.19533v2
Date: Wed, 22 Apr 2026 16:03:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-23 15:36:10.460627
Title: Cyber Defense Benchmark: Agentic Threat Hunting Evaluation for LLMs in SecOps
Title（参考訳）: サイバーディフェンスベンチマーク:SecOpsにおけるLSMのエージェントによる脅威追跡評価
Abstract要約: 我々は,大規模言語モデル(LLM)エージェントが脅威ハンティングのコアSOC分析タスクをどの程度うまく実行するかを評価するベンチマークであるCyber Defense Benchmarkを紹介する。このベンチマークは、OTRF Security-Datasets Corpusから106の実際の攻撃手順をGymnasium強化学習環境にラップする。各エピソードは、タイムシフトとエンティティが生記録を曖昧にする決定論的キャンペーンシミュレータによって生成される75,000〜135,000のログレコードのインメモリデータベースをエージェントに提示する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce the Cyber Defense Benchmark, a benchmark for measuring how well large language model (LLM) agents perform the core SOC analyst task of threat hunting: given a database of raw Windows event logs with no guided questions or hints, identify the exact timestamps of malicious events. The benchmark wraps 106 real attack procedures from the OTRF Security-Datasets corpus - spanning 86 MITRE ATT&CK sub-techniques across 12 tactics - into a Gymnasium reinforcement-learning environment. Each episode presents the agent with an in-memory SQLite database of 75,000-135,000 log records produced by a deterministic campaign simulator that time-shifts and entity-obfuscates the raw recordings. The agent must iteratively submit SQL queries to discover malicious event timestamps and explicitly flag them, scored CTF-style against Sigma-rule-derived ground truth. Evaluating five frontier models - Claude Opus 4.6, GPT-5, Gemini 3.1 Pro, Kimi K2.5, and Gemini 3 Flash - on 26 campaigns covering 105 of 106 procedures, we find that all models fail dramatically: the best model (Claude Opus 4.6) submits correct flags for only 3.8% of malicious events on average, and no run across any model ever finds all flags. We define a passing score as >= 50% recall on every ATT&CK tactic - the minimum bar for unsupervised SOC deployment. No model passes: the leader clears this bar on 5 of 13 tactics and the remaining four on zero. These results suggest that current LLMs are poorly suited for open-ended, evidence-driven threat hunting despite strong performance on curated Q&A security benchmarks.
Abstract（参考訳）: 我々は,大規模言語モデル(LLM)エージェントが脅威追跡のコアSOC分析タスクをどの程度うまく実行するかを測定するベンチマークであるCyber Defense Benchmarkを紹介した。ベンチマークでは、OTRF Security-Datasets corpus(86 MITRE ATT&CKのサブテクニックを12の戦術でカバー)から106の本当の攻撃手順をGymnasium強化学習環境にラップしている。各エピソードでは、エージェントに75,000～135,000のログレコードのインメモリSQLiteデータベースを提示する。エージェントは、悪意のあるイベントタイムスタンプを発見し、それを明示的にフラグ付けするためにSQLクエリを反復的に送信し、Sigma-ruleから派生した基底真理に対してCTFスタイルをスコア付けする必要がある。 Claude Opus 4.6, GPT-5, Gemini 3.1 Pro, Kimi K2.5, Gemini 3 Flashの5つのフロンティアモデルを評価する – 106プロシージャのうち105つをカバーする26のキャンペーンでは、すべてのモデルが劇的に失敗していることがわかった。パススコアは、教師なしのSOCデプロイメントの最小バーであるATT&CK戦術毎に >=50% リコールと定義します。モデルが通らない: リーダーは13の戦術のうち5つをクリアし、残りの4つをゼロにする。これらの結果から,現行のLLMはQ&Aセキュリティベンチマークの性能は高いものの,オープンエンドかつエビデンス駆動の脅威ハンティングには適していないことが示唆された。

関連論文リスト

AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文参考訳（メタデータ） (2026-09-09T08:29:16Z)
AgentDrift: A Step-Labeled Benchmark of Injection-Hijacked LLM Agent Trajectories [0.0]
LLMエージェントは、ツールコールのシーケンスを発行することでタスクを完了し、彼らが読んだすべての観察は、間接的なプロンプトインジェクションが入力できるチャネルである。既存のベンチマークは、そのような攻撃がライブエージェントに対して成功するかどうかを測定し、既存のガードモデルは全体のトレースを判断する。我々は5つのエージェントドメインにまたがる12,536の合成ツールコールトラジェクトリのベンチマークであるAgentDriftを提案する。
論文参考訳（メタデータ） (2026-09-07T03:10:23Z)
LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文参考訳（メタデータ） (2026-08-26T12:13:05Z)
ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。 OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
論文参考訳（メタデータ） (2026-08-23T17:09:02Z)
Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文参考訳（メタデータ） (2026-07-30T16:22:13Z)
Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文参考訳（メタデータ） (2026-06-29T18:00:45Z)
From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
論文参考訳（メタデータ） (2026-06-03T14:26:25Z)
AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use [2.9991161518367875]
AgentTrustは実行前にエージェントツールコールをインターセプトし、構造化されたバリデーションを返す。 6つのリスクカテゴリにまたがる300-scenarioベンチマークと、630が独立して構築された現実世界の敵シナリオです。パッチされたルールセットで評価された630秒のベンチマークでは、AgentTrustは96.7%の精度を達成している。
論文参考訳（メタデータ） (2026-05-06T11:38:16Z)
MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。 199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。 9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文参考訳（メタデータ） (2026-05-05T16:38:23Z)
SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills [0.0]
SkillSieveは3層検出フレームワークで、必要に応じてより深く分析する。 400スキルのラベル付きベンチマークでは、SkillSieveは0.800 F1を達成し、ClawVetの0.421を上回った。
論文参考訳（メタデータ） (2026-04-08T00:58:48Z)
OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection [0.0]
本稿では,決定論的シミュレーションエンジンが基底真理を維持し,言語モデルが表面の散文のみを生成する検証可能な合成ベンチマークを提案する。コーパスは51日の模擬日、2,904回のテレメトリ記録を96.4%のノイズレートで記録し、単面と単日のトリアージ戦略を破るために設計された4つの検出シナリオをカバーしている。
論文参考訳（メタデータ） (2026-03-23T19:03:53Z)
CLASP: Defending Hybrid Large Language Models Against Hidden State Poisoning Attacks [48.54598003197356]
Mambaのような状態空間モデル(SSM)はトランスフォーマーの効率的な代替品として大きな注目を集めている。 HiSPAsは、最近発見された脆弱性で、敵対する文字列を通じてSSMメモリを破損させる。この脅威に対して防御するためのCLASPモデルを紹介します。
論文参考訳（メタデータ） (2026-03-12T17:29:55Z)
Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。複雑な敵戦略は単純な操作的コメントに勝るものではない。コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
論文参考訳（メタデータ） (2026-02-18T00:34:17Z)
OpenSec: Measuring Incident Response Agent Calibration Under Adversarial Evidence [0.0]
本稿では,防衛インシデント対応エージェントの評価を行う,二重制御強化学習環境であるOpenSecを紹介する。静的な能力ベンチマークとは異なり、OpenSecは敵のエビデンスの下で世界状態を変える封じ込めアクションをスコアする。 GPT-5.2、Gemini 3、DeepSeekは100%のエピソードを90-97%の偽陽性率で封じ込めている。
論文参考訳（メタデータ） (2026-01-28T22:12:54Z)
AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文参考訳（メタデータ） (2025-04-29T17:36:05Z)
AutoAdvExBench: Benchmarking autonomous exploitation of adversarial example defenses [66.87883360545361]
AutoAdvExBenchは、大規模言語モデル(LLM)が敵の例に対する防衛を自律的に活用できるかどうかを評価するためのベンチマークである。我々は,CTF様(ホームワークエクササイズ)の75%を破壊できる強力なエージェントを設計する。このエージェントは、我々のベンチマークの現実世界の防御の13%でしか成功できないことを示し、実際の"コードを攻撃することの難しさとCTFライクなコードとの間に大きなギャップがあることを示します。
論文参考訳（メタデータ） (2025-03-03T18:39:48Z)
CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文参考訳（メタデータ） (2025-02-12T21:42:56Z)
SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。