論文の概要: From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage

• arxiv url: http://arxiv.org/abs/2610.10608v1
• Date: Wed, 07 Oct 2026 03:20:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.56461
• Title: From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage
• Title（参考訳）: 調査失敗から信頼性SOCエージェントへ:LCMに基づくアラートトリアージの理解と改善
• Abstract要約: セキュリティ・オペレーション・センター(SOC)は大量のアラートをトリアージしなければならない。 理由付け戦略がどのようにして何を集めるべきか、そして、調査がアラートをクローズするのに十分な時期を決定するのかは、いまだに不明である。 本研究では, シングルパスツールの使用, 反復検索, サンプル調査, 自己レビュー, 明示的検証の5つの代表的なアプローチについて検討した。
• 参考スコア（独自算出の注目度）: 6.570882971833104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Security operations centers (SOCs) must triage large volumes of alerts, most of which are benign, while missed attacks can remain uninvestigated. Tool-using large language model (LLM) agents can retrieve evidence during triage, but it remains unclear how reasoning strategies determine what to gather and when an investigation is sufficient to close an alert. We study five representative approaches spanning single-pass tool use, iterative retrieval, sampled investigations, self-review, and explicit verification. To support this study, we build ALERT-BENCH, an interactive benchmark that replays enterprise telemetry through a live SIEM and requires each system to retrieve evidence. Across 1,247 alerts from a multi-stage attack scenario, every approach missed at least 40.4% of attack-related alerts. Trace analysis shows that attack alerts are more likely to be dismissed when searches return no records, same-context review has negative net correction, and dismissal receives no consistently stronger investigation than escalation. Based on these findings, we further design AIDA (Adversarial Investigation and Dialectical Analysis), a multi-agent framework that requires an explicit proposed decision before independent challenge and stronger evidentiary requirements before dismissal. AIDA preserves investigation history in an append-only Investigation Ledger and keeps the challenge in a separate reasoning context. A separate Judge adjudicates the proposed decision and challenge against evidence, resolving the alert or requesting another round when evidence is missing. On the same alerts, AIDA achieves an F1 score of 0.958, compared with 0.371-0.744 for the studied approaches, and reduces the false-negative rate from 40.4% to 3.1% while escalating 18.4% of alerts to analysts. These results show that structuring evidence retrieval and decision review can substantially improve agentic SOC triage.
• Abstract（参考訳）: セキュリティ・オペレーション・センター(SOC)は大量のアラートをトリアージしなければならない。 ツール利用大型言語モデル(LLM)エージェントは、トリアージ中に証拠を回収することができるが、どのような理由付け戦略が収集方法を決定するのか、また、調査が警告をクローズするのに十分な時期が定かではない。 本研究では, シングルパスツールの使用, 反復検索, サンプル調査, 自己レビュー, 明示的検証の5つの代表的なアプローチについて検討した。 ALERT-BENCHは、ライブSIEMを通して企業テレメトリを再生し、各システムに証拠の検索を要求する対話型ベンチマークである。 マルチステージ攻撃シナリオからの1,247件の警告は、攻撃関連アラートの少なくとも40.4%を見逃した。 トレース分析は、検索がレコードを返さない場合、攻撃警告は削除される傾向があり、同じコンテキストレビューは負のネット修正を持ち、削除はエスカレーションよりも一貫して強力な調査を受けないことを示している。 これらの知見に基づき,我々はAIDA (Adversarial Investigation and Dialectical Analysis) をさらに設計する。 AIDAは、調査履歴を追加のみのResearch Ledgerで保存し、チャレンジを別の推論コンテキストで保持する。 別個の裁判官は、提案された決定と証拠に対する異議を唱え、警告を解消したり、証拠が欠落した場合に別のラウンドを要求する。 同じ警告では、AIDAは、研究手法の0.371-0.744と比較して0.958のF1スコアを獲得し、偽陰性率はアナリストに18.4%の警告をエスカレートしながら40.4%から3.1%に減少する。 これらの結果から, 構造化証拠の検索と意思決定レビューにより, エージェントSOCトリアージを大幅に改善できることが示唆された。

関連論文リスト

• APTInvestBench: Evaluating Autonomous APT Investigation under Varying Telemetry [13.609670317095196]
  大規模言語モデル(LLM)エージェントは、セキュリティオペレーションセンター(SOC)が高度な永続的脅威(APT)を調べるのに役立つ。 しかし、1つのテレメトリ設定での成功は、ログ収集、保持、サンプリングの変更に対する堅牢性を確立しない。 APTInvestBenchは、自律型APT調査におけるクロステレメトリの堅牢性を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-09-30T04:21:45Z)
• BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction [58.03195482017449]
  成熟した対象トピックが与えられた場合、システムは問題空間信号、未認識の研究問題、解空間信号を回復しなければならない。 BackTrendには、人工知能と機械学習における25の成熟したターゲットトピックと、66人の有能な弱いシグナルが含まれている。 セマンティックマッチングとカバレッジに基づくメトリクスを用いて,フロンティアLLM,RAGシステム,エージェント研究システムの評価を行った。
  論文  参考訳（メタデータ） (2026-09-21T17:18:19Z)
• Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents [72.19038675107662]
  ミスターL(Mr. L)は、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。 各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
  論文  参考訳（メタデータ） (2026-09-10T09:47:44Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Breadcrumbing Search Agents [118.20284823674382]
  LLMベースの検索エージェントは情報検索タスクに広く利用されているが、外部ツールへの依存度は重大なセキュリティリスクをもたらす。 検索およびページ観察を行うチャネルは脆弱なセキュリティ境界であることを示す。 制約付きツール仲介脅威モデルの下では、クエリ毎に1つのコントロールされた結果のみを追加することで、攻撃の成功を大幅に増加させることができる。
  論文  参考訳（メタデータ） (2026-08-05T07:57:27Z)
• Before Reasoning Can Fail: Pre-Evidence Procedural Failures in Agentic RAG [0.7161783472741748]
  エージェント検索拡張生成(RAG)システムは、エビデンス条件の推論がテストされる前に失敗する可能性がある。 我々は,この故障モードをエージェント軌道の手続き的特性として検討する。 ReadGateは,検索後およびファイナライゼーション前において,エージェントが読み取る必要のある最小限のランタイムである。
  論文  参考訳（メタデータ） (2026-08-03T10:09:19Z)
• ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment [22.38716170940567]
  研究員が歴史的証拠から前向きな判断を下せるかどうかを評価するためのベンチマークであるForeSciを紹介する。 ForeSciには、素早く動く4つのAIドメインと4つの意思決定ファミリに500のタスクが含まれている。 明確な証拠組織は、トレーサビリティと事実支援を改善するが、決定家族に強く依存する。
  論文  参考訳（メタデータ） (2026-05-30T09:41:26Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。