論文の概要: Evaluating LLM Generated Detection Rules in Cybersecurity

• arxiv url: http://arxiv.org/abs/2509.16749v1
• Date: Sat, 20 Sep 2025 17:21:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 15:03:24.397196
• Title: Evaluating LLM Generated Detection Rules in Cybersecurity
• Title（参考訳）: サイバーセキュリティにおけるLLM生成検出ルールの評価
• Authors: Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath,
• Abstract要約: このベンチマークでは、LCM生成したセキュリティルールの有効性を測定するために、ホールトアウトセットベースの方法論を採用している。 専門家がセキュリティルールを評価する方法に触発された3つの重要な指標を提供する。 この方法論は、Sublime Securityの検知チームとSublime SecurityのAutomated Detection Engineerによって書かれたルールを使って説明されている。
• 参考スコア（独自算出の注目度）: 0.3469154896502103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are increasingly pervasive in the security environment, with limited measures of their effectiveness, which limits trust and usefulness to security practitioners. Here, we present an open-source evaluation framework and benchmark metrics for evaluating LLM-generated cybersecurity rules. The benchmark employs a holdout set-based methodology to measure the effectiveness of LLM-generated security rules in comparison to a human-generated corpus of rules. It provides three key metrics inspired by the way experts evaluate security rules, offering a realistic, multifaceted evaluation of the effectiveness of an LLM-based security rule generator. This methodology is illustrated using rules from Sublime Security's detection team and those written by Sublime Security's Automated Detection Engineer (ADE), with a thorough analysis of ADE's skills presented in the results section.
• Abstract（参考訳）: LLMはセキュリティ環境においてますます普及しており、セキュリティ実践者への信頼と有用性を制限している。 本稿では,LCMが生成するサイバーセキュリティルールを評価するための,オープンソースの評価フレームワークとベンチマーク指標を提案する。 このベンチマークでは、LLM生成のセキュリティルールの有効性を人間生成のルールコーパスと比較するために、ホールトアウトセットベースの方法論を採用している。 専門家がセキュリティルールを評価する方法に触発された3つの重要な指標を提供し、LLMベースのセキュリティルールジェネレータの有効性を現実的に多面的に評価する。 この方法論は、Sublime Securityの検知チームとSublime SecurityのAutomated Detection Engineer (ADE)によって書かれたルールを用いて説明され、結果セクションでADEのスキルを徹底的に分析する。

関連論文リスト

• Evaluating LLM Agent Adherence to Hierarchical Safety Principles: A Lightweight Benchmark for Probing Foundational Controllability Components [0.0]
  本稿では,エージェントが高レベルの安全原則を維持できる能力を評価するための,軽量で解釈可能なベンチマークを提案する。 評価の結果,(1)コンプライアンスソリューションが存在する場合でも,安全性の制約がタスクパフォーマンスを低下させる定量的な「コンプライアンスコスト」と,(2)高いコンプライアンスが選択よりもタスク能力の低下を隠蔽する「コンプライアンスのイリュージョン」の2つが明らかになった。
  論文  参考訳（メタデータ） (2025-06-03T01:16:34Z)
• AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents [41.000042817113645]
  sysは、トレーニングなし、メモリ拡張推論フレームワークである。 sysは、LLMが適応的に構造化された意味的特徴を抽出することで経験記憶を構築する。 Dataは、LLMベースの評価器が安全リスクとセキュリティ上の脅威の両方を見つけることができるかを確認するために設計された最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-31T17:10:23Z)
• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)
• SandboxEval: Towards Securing Test Environment for Untrusted Code [2.603958690885184]
  この研究は、テスト環境のセキュリティと機密性の評価に重点を置いている。 私たちは、現実世界の安全シナリオをシミュレートする手作業によるテストケースを備えたテストスイートであるSandboxEvalを紹介します。 まず、このテストスイートは、悪意のあるコードを生成するための命令の下にある LLM 操作上の制限を正確に記述する。
  論文  参考訳（メタデータ） (2025-03-27T19:56:00Z)
• SelfPrompt: Autonomously Evaluating LLM Robustness via Domain-Constrained Knowledge Guidelines and Refined Adversarial Prompts [0.6291443816903801]
  本稿では,大規模言語モデル(LLM)のロバスト性を自律的に評価する新しいフレームワークを提案する。 本稿では,ドメイン制約付き知識グラフ三重項から記述文を生成し,敵対的プロンプトを定式化する。 この自己評価機構により、LCMは外部ベンチマークを必要とせずにその堅牢性を評価することができる。
  論文  参考訳（メタデータ） (2024-12-01T10:58:53Z)
• Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
  大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。 そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。 本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T09:46:25Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Online Safety Analysis for LLMs: a Benchmark, an Assessment, and a Path Forward [9.218557081971708]
  大規模言語モデル(LLM)は多くの分野にまたがって広く応用されている。 その限定的な解釈可能性によって、複数の側面からの安全な操作が懸念される。 近年,LLMの品質保証手法の開発が進められている。
  論文  参考訳（メタデータ） (2024-04-12T14:55:16Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。