論文の概要: Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows

• arxiv url: http://arxiv.org/abs/2407.02856v3
• Date: Mon, 30 Jun 2025 13:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 15:08:38.355365
• Title: Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows
• Title（参考訳）: 初期異常検出:完全対部分流のモデル性能に関する研究
• Authors: Adrian Pekar, Richard Jozsa,
• Abstract要約: 本研究では,部分フロー情報と完全フロー情報の臨界レンズによるネットワークセキュリティ脅威検出における機械学習モデルの有効性について検討した。 標準ベンチマークモデルであるランダムフォレスト(Random Forest)が、様々なトレーニングおよびテスト条件下でどのように機能するかを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates the efficacy of machine learning models in network security threat detection through the critical lens of partial versus complete flow information, addressing a common gap between research settings and real-time operational needs. We systematically evaluate how a standard benchmark model, Random Forest, performs under varying training and testing conditions (complete/complete, partial/partial, complete/partial), quantifying the performance impact when dealing with the incomplete data typical in real-time environments. Our findings demonstrate a significant performance difference, with precision and recall dropping by up to 30% under certain conditions when models trained on complete flows are tested against partial flows. The study also reveals that, for the evaluated dataset and model, a minimum threshold around 7 packets in the test set appears necessary for maintaining reliable detection rates, providing valuable, quantified insights for developing more realistic real-time detection strategies.
• Abstract（参考訳）: 本研究では, ネットワークセキュリティ脅威検出における機械学習モデルの有効性について検討し, 研究環境と実時間運用ニーズとの共通的なギャップに対処する。 我々は,標準ベンチマークモデルであるランダムフォレスト(Random Forest)が,学習条件やテスト条件(完全/完全,部分/部分,完全/部分)でどのように機能するかを体系的に評価し,リアルタイム環境に典型的な不完全データを扱う際の性能への影響を定量化する。 本研究は, 完全流動モデルが部分流に対して試験された場合, 一定の条件下では, 精度とリコール率を最大30%低下させるという有意な性能差を示した。 この研究は、評価されたデータセットとモデルに対して、信頼性の高い検出率を維持するために、テストセット内の7つのパケットの最低しきい値が必要であることを示し、より現実的なリアルタイム検出戦略を開発する上で、価値ある定量化された洞察を提供する。

関連論文リスト

• Modeling of AUV Dynamics with Limited Resources: Efficient Online Learning Using Uncertainty [9.176056742068814]
  本研究では,記憶容量の制約によるオンライン学習におけるリハーサルのためのデータポイントの選択における不確実性の利用について検討する。 本稿では, 特定の閾値以下で不確実なサンプルを除外するThreshold法, 保存点間の不確実性を最大化するために設計されたGreedy法, 以前の2つのアプローチを組み合わせたThreshold-Greedyの3つの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-06T18:48:55Z)
• Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
  そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。 我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。 大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
  論文  参考訳（メタデータ） (2024-07-19T13:36:35Z)
• The Importance of Model Inspection for Better Understanding Performance Characteristics of Graph Neural Networks [15.569758991934934]
  脳形状分類タスクに適用したグラフニューラルネットワークの特徴学習特性に対するモデル選択の影響について検討する。 モデルの異なるレイヤに機能の埋め込みを組み込むことで、かなりの違いが見つかります。
  論文  参考訳（メタデータ） (2024-05-02T13:26:18Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Monitoring Machine Learning Models: Online Detection of Relevant Deviations [0.0]
  機械学習モデルは、データ分散やその他の要因の変化によって、時間の経過とともに劣化する可能性がある。 本稿では,関連する変化を検出するための逐次モニタリング手法を提案する。 本研究は, 微ゆらぎと有意義な劣化を区別する実用的な解決法である。
  論文  参考訳（メタデータ） (2023-09-26T18:46:37Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
  オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。 入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。 私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
  論文  参考訳（メタデータ） (2023-03-28T21:02:35Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Data Valuation Without Training of a Model [8.89493507314525]
  本稿では、ニューラルネットワークの一般化における個々のインスタンスの影響を定量化するために、複雑性ギャップスコアと呼ばれるトレーニング不要なデータ評価スコアを提案する。 提案したスコアは、インスタンスの不規則性を定量化し、トレーニング中に各データインスタンスがネットワークパラメータの総移動にどの程度貢献するかを測定する。
  論文  参考訳（メタデータ） (2023-01-03T02:19:20Z)
• A monitoring framework for deployed machine learning models with supply chain examples [2.904613270228912]
  機械学習モデルを監視するためのフレームワークについて述べ,(2)ビッグデータサプライチェーンアプリケーションの実装について述べる。 本実装では,3つの実データ集合上でのモデル特徴,予測,および性能のドリフトについて検討する。
  論文  参考訳（メタデータ） (2022-11-11T14:31:38Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization [13.985534521589257]
  ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。 提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
  論文  参考訳（メタデータ） (2021-04-03T20:57:57Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。