論文の概要: When the Ruler is Broken: Parsing-Induced Suppression in LLM-Based Security Log Evaluation

• arxiv url: http://arxiv.org/abs/2605.07293v1
• Date: Fri, 08 May 2026 06:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.83997
• Title: When the Ruler is Broken: Parsing-Induced Suppression in LLM-Based Security Log Evaluation
• Title（参考訳）: LLMに基づくセキュリティログ評価におけるパーシングによる抑制
• Authors: Chaitanya Vilas Garware, Sharif Noor Zisad,
• Abstract要約: 完全に機能的なモデルが完全に非機能なカテゴリに現れる可能性のある,無音で体系的な評価誤差のクラスを実証する。 SOC-Bench v0は、標準化された13のカテゴリの脅威分類、最小統計パワー要件、ファジィフィールド抽出仕様、および将来のSOC研究における特定の精度の歪みを防ぐための公開スコアリングスクリプトからなるベンチマークフレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based SOC log classifiers are commonly evaluated using regular-expression pipelines that extract structured fields from free-form model output. We demonstrate that this practice introduces a class of silent, systematic evaluation errors, which we term parsing-induced suppression that can cause a fully functional model to appear completely non-functional. Using OpenSOC-AI, a LoRA fine-tuned TinyLlama-1.1B system for security log threat classification, as a reproducible case study, we show that a strict regex parser reported 0% threat accuracy while a corrected fuzzy parser recovered 76% threat accuracy on the same model outputs and the same evaluation set. A gap of 76 percentage points attributable entirely to evaluation methodology. Severity accuracy remained constant at 58% under both parsers, providing a built-in control that isolates field name format mismatch as the causal mechanism rather than model degradation. For external reference, Claude Sonnet evaluated zero-shot on the same 50 example set achieved 88% threat accuracy and 58% severity accuracy under the same fuzzy protocol. Residual errors under fuzzy evaluation concentrate in three categories including reconnaissance, brute force, and credential stuffing, each contributing all 4 misclassifications, a pattern that reflects class-boundary difficulty among behaviorally adjacent log types rather than global model failure. We propose SOC-Bench v0, a benchmark framework comprising a standardized 13 category threat taxonomy, minimum statistical power requirements, fuzzy field extraction specification, and a public scoring script intended to prevent parser specific accuracy distortion in future SOC LLM research.
• Abstract（参考訳）: LLMに基づくSOCログ分類器は、自由形式モデル出力から構造化されたフィールドを抽出する正規表現パイプラインを用いて一般的に評価される。 本手法では, 完全に機能的なモデルが完全に非機能的に現れるような, パーシングによる抑制という, サイレントで系統的な評価誤差のクラスを導入することを実証する。 再現可能なケーススタディとして,LoRA微調整のTinyLlama-1.1BシステムであるOpenSOC-AIを用いて,厳密なRegexパーサが0%の脅威精度を報告し,修正されたファジィパーサが同一モデル出力と同一評価セットで76%の脅威精度を回復したことを示す。 76パーセントのギャップは、評価方法論に完全に寄与する。 重度精度は両パーサーの58%で一定であり、モデル劣化ではなく因果メカニズムとしてフィールド名フォーマットのミスマッチを分離するビルトインコントロールを提供する。 外部参照では、Claude Sonnet氏は同じ50の例でゼロショットを評価し、同じファジィプロトコルで88%の脅威精度と58%の深刻度精度を達成した。 ファジィ評価下での残留誤差は, 偵察, ブルート力, クレデンシャル・モッキングの3つのカテゴリに集中しており, それぞれが4つの誤分類に寄与している。 SOC-Bench v0は、標準化された13カテゴリーの脅威分類、最小統計パワー要件、ファジィフィールド抽出仕様、および将来のSOC LLM研究におけるパーサ特定精度の歪みを防ぐための公開スコアリングスクリプトを含むベンチマークフレームワークである。

関連論文リスト

• GF-Score: Certified Class-Conditional Robustness Evaluation with Fairness Guarantees [1.6058099298620423]
  我々は、認定されたGREATスコアをクラスごとの堅牢性プロファイルに分解するフレームワークであるemphGF-Score(GREAT-Fairness Score)を紹介する。 分解は正確であり、クラスごとのスコアは一貫性のある脆弱性パターンを示し、より堅牢なモデルではクラスレベルの格差が大きくなる傾向にある。 これらの結果から,信頼性の高いロバスト性保証がすべてのクラスを平等に保護できないような,実用的なアタックフリー監査パイプラインが確立された。
  論文  参考訳（メタデータ） (2026-04-14T14:03:22Z)
• Brittlebench: Quantifying LLM robustness via prompt sensitivity [44.950999933205985]
  モデル感度を定量化する理論的枠組みを導入する。 我々は、フロンティアモデルの感度を均等に評価するために、新しい評価パイプラインであるBrttlebenchを設計する。 セマンティクスを保存する入力摂動は、与えられたモデルの性能変動の最大半分を占めることができる。
  論文  参考訳（メタデータ） (2026-02-27T21:12:13Z)
• Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research [19.31559944205485]
  運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。 評価ループにtextbfsolver を配置するベンチマークを2つ導入する。 ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
  論文  参考訳（メタデータ） (2026-01-28T20:02:44Z)
• VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
  Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。 最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。 推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
  論文  参考訳（メタデータ） (2026-01-19T07:21:19Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• A-VERT: Agnostic Verification with Embedding Ranking Targets [0.0]
  構造自由評価法を提案する。 本手法は,対象候補と任意のLM生成テキストとをマッチングするために,意味埋め込み距離を利用する。 その結果, 回帰スコアは0.97, 精度は96%であった。
  論文  参考訳（メタデータ） (2025-10-01T21:26:03Z)
• Targeting Alignment: Extracting Safety Classifiers of Aligned LLMs [6.462219916993885]
  大規模言語モデル(LLM)のアライメントは、安全性などのガイドラインを強制するために使用される。 しかし、アライメントは、入力を変更して安全でない出力を誘導するjailbreak攻撃に直面して失敗する。 我々は,ジェイルブレイク攻撃のための新しい手法を紹介し,評価する。
  論文  参考訳（メタデータ） (2025-01-27T22:13:05Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• xFinder: Large Language Models as Automated Evaluators for Reliable Evaluation [9.22621553566816]
  本稿では,キー応答抽出モジュールの最適化により抽出精度が向上し,信頼性が向上することを示す。 大規模言語モデル(LLM)評価において,応答抽出とマッチングのための新しい評価器であるxFinderを提案する。 一般化テストと実世界の評価では、最小のxFinderモデルは5億のパラメータしか持たないが、平均抽出精度は93.42%である。 xFinderの最終判定精度は97.61%に達し、既存の評価フレームワークや審査モデルを上回っている。
  論文  参考訳（メタデータ） (2024-05-20T08:30:13Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。