論文の概要: How Benchmarks and Evaluation Protocols Shape Conclusions in Provenance-Based Intrusion Detection
- arxiv url: http://arxiv.org/abs/2608.01454v1
- Date: Sun, 02 Aug 2026 19:27:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.24536
- Title: How Benchmarks and Evaluation Protocols Shape Conclusions in Provenance-Based Intrusion Detection
- Title（参考訳）: 確率に基づく侵入検知におけるベンチマークと評価プロトコルの整形方法
- Abstract要約: 監査、ラベル付け、校正要件を満たす公開データセット上で、代表PIDSを再評価する。
いくつかのシステムは、法医学的な調査を支援するのに十分なプロセスレベルのコンテキストを提供することなく、攻撃を表面化する。
この分析は、複数の監査済みのE3データセットが、モデルアーキテクチャを確実に分離することなく警告行動を公開することができる理由を説明するのに役立つ。
- 参考スコア（独自算出の注目度）: 6.453778601809096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Provenance-based intrusion detection systems (PIDS) frequently report strong performance, but the conclusions drawn from these results can be highly sensitive to benchmarking choices and evaluation protocols. We investigate this dependency by re-evaluating representative PIDS on public datasets that meet our audit, labeling, and calibration requirements. Focusing primarily on the audited DARPA TC E3 datasets, we apply a unified protocol with temporally separated test periods and validation-only checkpoint and threshold calibration, and ask which architectural claims are empirically supported. We find that alerting success and investigation utility can diverge sharply, as several systems surface attacks without providing enough process-level context to support forensic investigation. On three of the four primary datasets, a simple allowlist built from training executable names and paths matches or exceeds the selected learned baselines on key operating-point metrics, suggesting that much of their measured performance reflects lexical novelty rather than richer provenance modeling. To explain why only some datasets expose architectural differences, we measure semantic signal quality through feature completeness and field entropy. This analysis helps explain why several audited E3 datasets can expose alerting behavior without reliably separating model architectures, while Theia pairs the strongest semantic signal quality with the clearest improvements in ranking and node-level recovery by our reference model. These results show that architectural claims in PIDS should be interpreted together with the benchmark properties and evaluation protocol that produced them.
- Abstract（参考訳）: Provenance-based Intrusion Detection System (PIDS) は、高い性能をしばしば報告するが、これらの結果から得られた結論は、ベンチマーク選択や評価プロトコルに非常に敏感である。
我々は、監査、ラベル付け、校正要件を満たす公開データセット上で、代表PIDSを再評価することにより、この依存性を調査する。
評価されたDARPA TC E3データセットを中心に、時間的に分離されたテスト期間と検証のみのチェックポイントとしきい値校正を備えた統一プロトコルを適用し、どのアーキテクチャクレームが実証的にサポートされているかを問う。
いくつかのシステムは、法医学的な調査を支援するのに十分なプロセスレベルのコンテキストを提供することなく、攻撃を表面化する。
4つの主要なデータセットのうち3つでは、実行可能名とパスのトレーニングから構築された単純な許容リストが、主要な操作ポイントのメトリクスに基づいて選択された学習ベースラインにマッチするか、あるいは超えているため、測定されたパフォーマンスの大部分は、よりリッチな前兆モデリングよりも語彙的ノベルティを反映していることが示唆されている。
いくつかのデータセットだけがアーキテクチャの違いを明らかにしている理由を説明するために、特徴完全性とフィールドエントロピーを通して意味信号の品質を測定する。
この分析は、いくつかの監査済みE3データセットがモデルアーキテクチャを確実に分離することなく警告行動を公開することができる理由を説明するのに役立つ。
これらの結果から,PIDSのアーキテクチャ的クレームは,それらを生成するベンチマーク特性や評価プロトコルとともに解釈されるべきであることが示唆された。
関連論文リスト
- Mind the Gap: Robustness Risks in PII Detection Systems [6.167318681955322]
我々は,ノイズ,非構造,非公式な入力の下で,異なるPII検出パラダイムがどのように失敗するかを検討する。
単一のアーキテクチャは、PIIカテゴリ全体で一様に信頼性がない。
これらの知見に触発されて,反復的リスク軽減のためのQA駆動フィードバックループを用いたハイブリッド検出パイプラインを提案する。
論文 参考訳（メタデータ） (2026-09-03T07:23:28Z) - MedSegBenchmarker: A Raw-Count-First Framework for Controlled 2D Medical Image Segmentation Benchmarks [1.0230975056328007]
MEDSEGBENCHMARKER(MSB)は,2次元データセットのベンチマーク制御のための構成駆動フレームワークである。
MSBは、評価コンテキストとともに、サンプルレベルおよびクラスレベルの画素数と予測をエクスポートする。
3つの異種2Dデータセットと256画素および512ピクセルの入力解像度で評価された複数の視覚モデルを含むケーススタディでMSBを実証した。
論文 参考訳（メタデータ） (2026-08-30T09:20:38Z) - From Benchmark Performance to Tool Deployment: Human-in-the-Loop Anomaly Detection [28.67239775192971]
BowTieデータセットを用いた19の教師なし異常検出モデルの評価を行った。
モデル性能は、標準ベンチマークで通常報告されるよりも安定性が低いことを観察する。
我々は、製造部品検査のための統一されたヒューマン・イン・ザ・ループ・フレームワークをデプロイする。
論文 参考訳（メタデータ） (2026-08-07T21:31:20Z) - From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models [51.470637128942336]
本稿では, 一致する条件下でのプローブベース不確実性推定(UE)について, 因子分析を行った。
この結果から,隠れ状態や注目特徴がドメイン内よりも優れていることが示唆された。
我々は、オープンエンドの事実生成に対して合理的に伝達するベンチマークベースの事前訓練プローブを訓練する。
論文 参考訳（メタデータ） (2026-06-26T03:23:15Z) - Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。
トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。
我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
論文 参考訳（メタデータ） (2026-06-04T17:20:47Z) - NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples [1.096626056612224]
Inference Provenance Graphs (IPGs) を用いた推論前駆体分析フレームワークであるNeuroTraceを紹介する。
IPGは、モデルの前方通過中にアクティベーション動作とパラメータ誘起データフローの両方をキャプチャする異種グラフである。
攻撃中, マルチアタック, クロススリート転送設定下での逆例検出のためのIPGベース検出器の評価を行った。
論文 参考訳（メタデータ） (2026-04-15T22:23:40Z) - Heuristic-inspired Reasoning Priors Facilitate Data-Efficient Referring Object Detection [53.988759250627425]
HeROD(Heuristic-inspired ROD)は、明示的で解釈可能な空間的および意味的推論を注入する軽量でモデルに依存しないフレームワークである。
HeRODは、スカーセラベル体制において強い接地ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-03-25T10:33:22Z) - PIDSMaker: Building and Evaluating Provenance-based Intrusion Detection Systems [0.5830619388189558]
PIDSMakerは、一貫した視覚化プロトコルの下でPIDSを開発し評価するためのオープンソースのフレームワークである。
最先端の8つのシステムを、標準化された事前処理と基盤トラストラベルを備えたモジュラーアーキテクチャに統合する。
YAMLベースの設定インターフェースは、コード変更なしにシステム間でコンポーネントを構成することで、迅速なプロトタイピングをサポートする。
論文 参考訳（メタデータ） (2026-01-30T13:45:33Z) - Demystifying Network Foundation Models [14.775836458250799]
本研究は,ネットワークファウンデーションモデル (NFM) に符号化された潜伏知識の体系的研究である。
4種類のNFMを評価し,それぞれに有意な異方性,不整合性特徴感度パターンが認められた。
私たちの研究は、すべてのモデルにまたがる多くの制限を特定し、それらに対処することで、モデルのパフォーマンスが大幅に改善できることを示します。
論文 参考訳（メタデータ） (2025-09-27T03:53:46Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳（メタデータ） (2023-07-04T01:34:41Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳（メタデータ） (2021-05-21T11:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。