論文の概要: Beyond the Hype: Evaluating LLM Integration and Practical Limitations in Security Operation Centers
- arxiv url: http://arxiv.org/abs/2608.17154v1
- Date: Mon, 17 Aug 2026 21:37:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.137253
- Title: Beyond the Hype: Evaluating LLM Integration and Practical Limitations in Security Operation Centers
- Title（参考訳）: ハイプを超えて:セキュリティ運用センターにおけるLCM統合と実践的限界の評価
- Abstract要約: 大規模言語モデル (LLMs) は、テキスト分析作業をサポートするために、セキュリティ操作センター (SOCs) 内でますます研究されている。
この関心にもかかわらず、実践者は重要な運用上の懸念、特に幻覚と不透明な推論を記述している。
最前線アナリスト,SOCマネージャ,ツール開発者を対象に,SOC実践者20人との半構造化インタビューを行った。
- 参考スコア（独自算出の注目度）: 3.4345394794323276
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) are increasingly being explored within Security Operation Centers (SOCs) to support text-heavy analytical work such as alert contextualization, incident summarization, and drafting investigative artifacts. Despite this interest, practitioners describe critical operational concerns, most notably hallucinations (plausible but incorrect outputs), opaque reasoning, and the verification effort required to safely use model-generated content in security workflows. In this paper, we present findings from semi-structured interviews with 20 SOC practitioners spanning frontline analysts, SOC managers, and tool developers. Participants report perceived time savings for low-stakes tasks that are quickly verifiable (e.g., summarizing logs or drafting initial investigative leads), but they consistently frame LLM outputs as preliminary drafts and suggestions rather than decision-grade conclusions. Participants also describe limited trust in LLMs for high-stakes security decisions due to unreliable outputs and unclear model reasoning, and they report relying primarily on ad-hoc verification norms and continuous human oversight rather than standardized mitigation procedures. Based on these interview-grounded accounts, we introduce a maturity rubric to characterize readiness for LLM integration and outline a research agenda emphasizing auditability and transparent explanation mechanisms to support safer adoption in SOC workflows.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、警告コンテキスト化、インシデント要約、調査成果物の起草など、テキストを多用する分析作業をサポートするために、セキュリティ運用センター(SOC)内でますます研究されている。
この関心にもかかわらず、実践者は重要な運用上の懸念、特に幻覚(明快だが誤ったアウトプット)、不透明な推論、そしてセキュリティワークフローでモデル生成コンテンツを安全に使用するために必要な検証作業について記述している。
本稿では,最前線アナリスト,SOCマネージャ,ツール開発者を対象としたSOC実践者20名を対象に,半構造化インタビューを行った。
参加者は、迅速に検証可能な低いタスク(例えば、ログの要約や初期調査用リードの起草など)に対する時間節約を報告しているが、彼らは、LCMのアウトプットを決定グレードの結論ではなく、予備ドラフトや提案として一貫して定めている。
参加者はまた、信頼性の低いアウトプットと不確実なモデル推論による高いセキュリティ決定に対するLLMの信頼性の制限についても記述しており、彼らは標準化された緩和手順ではなく、主にアドホックな検証規範と継続的人間監督に依存していると報告している。
本稿では,LLM統合の可読性を特徴付けるための成熟したルーブリックを導入し,SOCワークフローの安全性向上を支援するための監査性や透明な説明機構を重視した研究課題を概説する。
関連論文リスト
- From Chasing Ghosts to Missed Attacks: Perspectives and Perceptions of SOC Practitioners on LLM Integration, Risks, and Readiness [9.803413284017138]
セキュリティオペレーションセンター(SOC)は大量のセキュリティイベントを処理する。
LLM(Large Language Models)の最近の進歩は、セキュリティオペレーションの潜在的なメリットを示唆している。
懸念にもかかわらず、実践者はLSMを採用する意志を強く表している。
論文 参考訳（メタデータ） (2026-08-01T13:47:44Z) - Large Language Models in Misinformation Ecosystems: Misuse, Defense, and Vulnerability [65.56750741053266]
大規模言語モデル(LLM)は、誤情報をコンテンツ中心の問題からより広範なエコシステムレベルのセキュリティ課題に転換した。
本稿では,これらのリスクと防御を統一する役割層フレームワークを提案する。
この役割はLLMを攻撃者、ディフェンダー、検証システムの脆弱なコンポーネントとして特徴づけ、層次元はコンテンツ、社会的コンテキスト、エビデンス環境、検証をカバーしている。
論文 参考訳（メタデータ） (2026-07-11T17:04:17Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - Evaluating Metrics for Safety with LLM-as-Judges [1.93892819796757]
本稿では、多くの自然言語処理タスクから決定論的評価を得ることはできないが、重み付けされたメトリクスのバスケットを採用することで、評価におけるエラーのリスクを低減することができると主張している。
論文 参考訳（メタデータ） (2025-12-17T17:24:49Z) - LLMs as verification oracles for Solidity [1.3887048755037537]
本稿では,この役割において,最先端の推論LLMである GPT-5 を初めて体系的に評価する。
我々は,大規模な検証タスクのデータセット上でその性能をベンチマークし,その出力を確立された形式的検証ツールと比較し,実世界の監査シナリオにおける実効性を評価する。
我々の研究は、AIの収束における新たなフロンティアと、セキュアなスマートコントラクト開発と監査のための形式的手法を示唆している。
論文 参考訳（メタデータ） (2025-09-23T15:32:13Z) - On the Surprising Efficacy of LLMs for Penetration-Testing [3.11537581064266]
この論文は、浸透試験におけるLarge Language Models (LLMs)の進化を徹底的にレビューする。
さまざまな攻撃的なセキュリティタスクにまたがって、彼らのアプリケーションをデモし、サイバー殺人チェーンの幅広いフェーズをカバーする。
論文では、より広範な採用と安全なデプロイメントを妨げる重要な障害を特定し、議論する。
論文 参考訳（メタデータ） (2025-07-01T15:01:18Z) - AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents [48.925168866726814]
AgentAuditorは、トレーニングなし、メモリ拡張推論フレームワークである。
ASSEBenchは、LLMベースの評価器が安全リスクとセキュリティ上の脅威の両方を見つけることができるかを確認するために設計された最初のベンチマークである。
論文 参考訳（メタデータ） (2025-05-31T17:10:23Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳（メタデータ） (2024-04-16T13:22:54Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z) - A Survey of Safety and Trustworthiness of Large Language Models through
the Lens of Verification and Validation [21.242078120036176]
大規模言語モデル(LLM)は、エンドユーザーと人間レベルの会話を行う能力のために、AIの新たな熱波を爆発させた。
この調査は、産業応用における安全性と信頼性に関するものである。
論文 参考訳（メタデータ） (2023-05-19T02:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。