論文の概要: Towards Small Language Models for Security Query Generation in SOC Workflows
- arxiv url: http://arxiv.org/abs/2512.06660v1
- Date: Sun, 07 Dec 2025 05:18:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.455591
- Title: Towards Small Language Models for Security Query Generation in SOC Workflows
- Title(参考訳): SOCワークフローにおけるセキュリティクエリ生成のための小言語モデル
- Authors: Saleha Muzammil, Rahul Reddy, Vishal Kamalakrishnan, Hadi Ahmadi, Wajih Ul Hassan,
- Abstract要約: セキュリティ運用センターのアナリストは、Kusto Query Language(KQL)を使用して、大規模なテレメトリストリームを定期的にクエリする。
適切なKQLを書くには特別な専門知識が必要です。
本稿では,Small Language Models (SLM) が企業セキュリティのために,正確で費用対効果の高い自然言語-KQL翻訳を可能にするかどうかを検討する。
- 参考スコア(独自算出の注目度): 2.773295737427326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analysts in Security Operations Centers routinely query massive telemetry streams using Kusto Query Language (KQL). Writing correct KQL requires specialized expertise, and this dependency creates a bottleneck as security teams scale. This paper investigates whether Small Language Models (SLMs) can enable accurate, cost-effective natural-language-to-KQL translation for enterprise security. We propose a three-knob framework targeting prompting, fine-tuning, and architecture design. First, we adapt existing NL2KQL framework for SLMs with lightweight retrieval and introduce error-aware prompting that addresses common parser failures without increasing token count. Second, we apply LoRA fine-tuning with rationale distillation, augmenting each NLQ-KQL pair with a brief chain-of-thought explanation to transfer reasoning from a teacher model while keeping the SLM compact. Third, we propose a two-stage architecture that uses an SLM for candidate generation and a low-cost LLM judge for schema-aware refinement and selection. We evaluate nine models (five SLMs and four LLMs) across syntax correctness, semantic accuracy, table selection, and filter precision, alongside latency and token cost. On Microsoft's NL2KQL Defender Evaluation dataset, our two-stage approach achieves 0.987 syntax and 0.906 semantic accuracy. We further demonstrate generalizability on Microsoft Sentinel data, reaching 0.964 syntax and 0.831 semantic accuracy. These results come at up to 10x lower token cost than GPT-5, establishing SLMs as a practical, scalable foundation for natural-language querying in security operations.
- Abstract(参考訳): Security Operations Centersのアナリストは、Kusto Query Language(KQL)を使用して、大規模なテレメトリストリームを定期的にクエリする。
適切なKQLを書くには特別な専門知識が必要です。
本稿では,Small Language Models (SLM) が企業セキュリティのために,正確で費用対効果の高い自然言語-KQL翻訳を可能にするかどうかを検討する。
本稿では,設計の促進,微調整,アーキテクチャ設計を目的とした3ノブフレームワークを提案する。
まず,従来のNL2KQLフレームワークを軽量な検索で適用し,トークン数を増やすことなく,一般的なパーサ障害に対処するエラー対応プロンプトを導入する。
次に,各NLQ-KQLペアに,SLMをコンパクトに保ちながら教師モデルからの伝達推論を簡潔にチェーン・オブ・シントで説明し,ロラ微調整を合理的蒸留で適用する。
第3に、候補生成にSLMを用いる2段階アーキテクチャと、スキーマ認識の洗練と選択のために低コストなLCM判定器を提案する。
我々は,レイテンシとトークンコストとともに,文法の正確性,意味的精度,テーブル選択,フィルタの精度の9つのモデル(5つのSLMと4つのLLM)を評価した。
MicrosoftのNL2KQL Defender Evaluationデータセットでは、2段階のアプローチで0.987の構文と0.906のセマンティック精度を実現しています。
さらに、Microsoft Sentinelデータにおける一般化可能性を示し、0.964構文と0.831意味精度に到達した。
これらの結果は、GPT-5よりも最大10倍のトークンコストで実現され、セキュリティ操作における自然言語クエリの実践的でスケーラブルな基盤としてSLMを確立した。
関連論文リスト
- FIRESPARQL: A LLM-based Framework for SPARQL Query Generation over Scholarly Knowledge Graphs [0.5120567378386615]
我々は、RAGとSPARQLクエリ修正層を介してオプションコンテキストで、微調整LDMをコアコンポーネントとしてサポートするモジュラーフレームワークを提案する。
BLEUとROUGEのメトリクスを用いてクエリ精度を測定し、緩和された正確なマッチング(RelaxedEM)を用いてクエリ結果の精度を測定する。
実験結果から,クエリの精度は0.90 ROUGE-L,テストセットの精度は0.85 RelaxedEMに達した。
論文 参考訳(メタデータ) (2025-08-14T09:08:50Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳(メタデータ) (2025-07-22T06:37:51Z) - Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
本稿では,検索者の後続のコントラスト学習のためのバックボーンを強化するために,QLの補助的タスクを提案する。
注意ブロック(AB)と文書破壊(DC)の2つの重要なコンポーネントを組み込んだモデルを紹介します。
論文 参考訳(メタデータ) (2025-04-07T16:03:59Z) - Assessing SPARQL capabilities of Large Language Models [0.0]
我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。
LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。
この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
論文 参考訳(メタデータ) (2024-09-09T08:29:39Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。
重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。