論文の概要: APTInvestBench: Evaluating Autonomous APT Investigation under Varying Telemetry
- arxiv url: http://arxiv.org/abs/2609.38954v1
- Date: Wed, 30 Sep 2026 04:21:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.181867
- Title: APTInvestBench: Evaluating Autonomous APT Investigation under Varying Telemetry
- Title（参考訳）: APTInvestBench:Varying Telemetryによる自律型APT調査の評価
- Abstract要約: 大規模言語モデル(LLM)エージェントは、セキュリティオペレーションセンター(SOC)が高度な永続的脅威(APT)を調べるのに役立つ。
しかし、1つのテレメトリ設定での成功は、ログ収集、保持、サンプリングの変更に対する堅牢性を確立しない。
APTInvestBenchは、自律型APT調査におけるクロステレメトリの堅牢性を評価するためのベンチマークである。
- 参考スコア（独自算出の注目度）: 13.609670317095196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents could help security operations centers (SOCs) investigate advanced persistent threats (APTs) by turning weak leads into evidence for intrusion scoping and response. Yet success under one telemetry setting does not establish robustness to changes in log collection, retention, or sampling. We introduce APTInvestBench, a benchmark for evaluating cross-telemetry robustness in autonomous APT investigation. It comprises 370 cases across seven SOC-inspired conditions, derived from 56 report-informed attack reconstructions with 16.4 million log records. Agents investigate unverified leads and submit reports with record-level citations. Fixed action-level support requirements track sufficient evidence across available logs, query returns, and formal citations, separating telemetry limitations from acquisition and reporting gaps. Across eleven LLMs, agents acquire sufficient evidence for 44.3% of recoverable attack actions on average, while formal citations support only 25.0%. More importantly, aggregate coverage can conceal substantial instability: from Full to endpoint-only telemetry, coverage declines by only 1.6 percentage points, yet 35.5% of previously covered actions lose sufficient citation support despite remaining recoverable. Across four frameworks, such losses persist even when registered supporting records remain unchanged. APTInvestBench provides reusable investigation environments and diagnostic evaluation for identifying these gaps and developing more reliable defensive agents.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、弱い鉛を侵入と応答の証拠にすることで、セキュリティオペレーションセンター(SOC)が高度な永続的脅威(APT)を調査するのに役立つ。
しかし、1つのテレメトリ設定での成功は、ログ収集、保持、サンプリングの変更に対する堅牢性を確立しない。
APTInvestBenchは、自律型APT調査におけるクロステレメトリの堅牢性を評価するためのベンチマークである。
SOCにインスパイアされた7つの条件の370のケースで構成されており、56件の報告インフォームされた攻撃再建と1640万件のログ記録から導かれる。
エージェントは未確認のリードを調査し、記録レベルの引用でレポートを提出する。
修正されたアクションレベルのサポート要件は、利用可能なログ、クエリリターン、フォーマルな引用を含む十分な証拠を追跡し、テレメトリの制限を取得とレポートのギャップから分離する。
11個のLSMにまたがって、エージェントは平均して44.3%の回復可能な攻撃行動を示す十分な証拠を得る一方、正式な引用は25.0%しか支持しない。
フルからエンドポイントのみのテレメトリまで、カバー範囲は1.6ポイントしか減少していないが、これまでカバーされていたアクションの35.5%は、回復可能ながら十分な引用サポートを失っている。
4つのフレームワークにわたって、登録されたサポートレコードが変更されていない場合でも、そのような損失は持続する。
APTInvestBenchは、これらのギャップを特定し、より信頼性の高い防御剤を開発するために、再利用可能な調査環境と診断評価を提供する。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - MedAgent-R1: Faithfulness-Aware Reinforcement Learning for Evidence-Grounded Medical Reasoning [6.676492026608371]
RL学習検索エージェントにおける系統的障害モードを同定する。
私たちは、忠実な報酬デザインでこの問題に対処します。
結果として得られるMedAgent-R1は、励起生成を31.8%から4.7%に減少させる。
論文 参考訳（メタデータ） (2026-08-31T12:19:41Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。
現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
論文 参考訳（メタデータ） (2026-06-15T09:05:55Z) - A Quasi-Experimental Developer Study of Security Training in LLM-Assisted Web Application Development [9.493071661387596]
実験では,事前学習と訓練後比較を併用した混合設計と,対象間の専門的要因を探索的に比較した。
主要参加者レベルエンドポイントは重度重み付き検証弱度スコアであった。
訓練後の条件は、正確なウィルコクソンの署名ランク試験で有意な対の減少を示した。
論文 参考訳（メタデータ） (2026-04-20T03:34:29Z) - Don't Start What You Can't Finish: A Counterfactual Audit of Support-State Triage in LLM Agents [0.0]
本稿では, 4つのサポート状態にまたがって, 最小限のデファクト編集が同じベース要求を反転させる, 一致した診断フレームワークであるSupport-State Triage Audit(SSTA-32)を紹介する。
我々は,Dual-Persona Auto-Auditing (DPAA) を用いた4つの条件下でのフロンティアモデルの評価を行った。
論文 参考訳（メタデータ） (2026-04-17T23:54:34Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳（メタデータ） (2026-02-07T12:19:00Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - DeepResearchGuard: Deep Research with Open-Domain Evaluation and Multi-Stage Guardrails for Safety [55.30944259390733]
ディープリサーチフレームワークは一般的に、信頼性、一貫性、幅、深さ、安全性などのレポート品質の重要な側面を見落としている。
DeEPRESEARCHGUARDは、4段階の安全ガードと参照とレポートのオープンドメイン評価を備えた総合的なフレームワークである。
我々は,GPT-4o,Gemini-2.5-flash,DeepSeek-v3,o4-miniなど,最先端のLLMのさまざまな評価を行った。
論文 参考訳（メタデータ） (2025-10-13T04:11:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。