論文の概要: SoK: Pragmatic Assessment of Machine Learning for Network Intrusion Detection

• arxiv url: http://arxiv.org/abs/2305.00550v1
• Date: Sun, 30 Apr 2023 18:38:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 14:48:24.527420
• Title: SoK: Pragmatic Assessment of Machine Learning for Network Intrusion Detection
• Title（参考訳）: SoK:ネットワーク侵入検知のための機械学習の実用的評価
• Authors: Giovanni Apruzzese, Pavel Laskov, Johannes Schneider
• Abstract要約: 本稿では,NIDに対するMLに対する実践者の懐疑的意識を,研究で採用されている評価方法論を「変える」ことで低減することを目的とする。 実践者がNIDのためのML手法の真の価値を評価できる「実用的評価」の概念を提案する。
• 参考スコア（独自算出の注目度）: 3.8759572154478343
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine Learning (ML) has become a valuable asset to solve many real-world tasks. For Network Intrusion Detection (NID), however, scientific advances in ML are still seen with skepticism by practitioners. This disconnection is due to the intrinsically limited scope of research papers, many of which primarily aim to demonstrate new methods ``outperforming'' prior work -- oftentimes overlooking the practical implications for deploying the proposed solutions in real systems. Unfortunately, the value of ML for NID depends on a plethora of factors, such as hardware, that are often neglected in scientific literature. This paper aims to reduce the practitioners' skepticism towards ML for NID by "changing" the evaluation methodology adopted in research. After elucidating which "factors" influence the operational deployment of ML in NID, we propose the notion of "pragmatic assessment", which enable practitioners to gauge the real value of ML methods for NID. Then, we show that the state-of-research hardly allows one to estimate the value of ML for NID. As a constructive step forward, we carry out a pragmatic assessment. We re-assess existing ML methods for NID, focusing on the classification of malicious network traffic, and consider: hundreds of configuration settings; diverse adversarial scenarios; and four hardware platforms. Our large and reproducible evaluations enable estimating the quality of ML for NID. We also validate our claims through a user-study with security practitioners.
• Abstract（参考訳）: 機械学習(ML)は多くの現実世界のタスクを解決するための貴重な資産となっている。 しかし、NID(Network Intrusion Detection)では、MLの科学的進歩はいまだに実践者の懐疑を伴っている。 多くの場合、提案されたソリューションを実際のシステムにデプロイする上での実践的な意味を見越して、新しい方法である ‘outperforming’ を実証することを目的としている。 残念なことに、NIDに対するMLの価値は、科学文献でしばしば無視されるハードウェアのような多くの要因に依存している。 本稿では,NIDに対するMLに対する実践者の懐疑的意識を,研究で採用されている評価方法論を「変える」ことで低減することを目的とする。 NIDにおけるMLの運用展開にどの「要素」が影響するかを解明した後、実践者がNIDのMLメソッドの実価値を評価できる「実用的評価」の概念を提案する。 そこで本研究では,NID に対する ML の値の推測がほとんどできないことを示す。 建設的なステップとして,実用的評価を実施します。 我々はNIDの既存のMLメソッドを再評価し、悪意のあるネットワークトラフィックの分類に焦点をあて、数百の設定設定、多様な敵シナリオ、および4つのハードウェアプラットフォームについて検討する。 大規模かつ再現可能な評価により,nidのml品質を推定できる。 セキュリティ実践者とのユーザスタディを通じて、私たちの主張を検証することも行います。

関連論文リスト

• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Common pitfalls to avoid while using multiobjective optimization in machine learning [1.2499537119440245]
  機械学習(ML)における多目的最適化(MOO)の適用の探求への関心が高まっている。 その可能性にもかかわらず、MOOを使いたいML実践者のエントリーレベルガイドとして機能する十分な文献が不足している。 従来の研究、特に深層学習におけるMOO(物理情報ニューラルネットワーク(PINN)を手がかりに)に関する研究を批判的にレビューし、MLにおけるMOOの原則をよりよく把握する必要性を強調した誤解を特定する。
  論文  参考訳（メタデータ） (2024-05-02T17:12:25Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• Performance evaluation of Machine learning algorithms for Intrusion Detection System [0.40964539027092917]
  本稿では機械学習(ML)技術を用いた侵入検知システム(IDS)の解析に焦点を当てた。 機械学習モデルのトレーニングと検証に使用されるKDD CUP-'99'侵入検出データセットを分析した。
  論文  参考訳（メタデータ） (2023-10-01T06:35:37Z)
• A Generative Framework for Low-Cost Result Validation of Machine Learning-as-a-Service Inference [4.478182379059458]
  FidesはML-as-a-Service(ML)推論のリアルタイム整合性検証のための新しいフレームワークである。 Fidesは、統計的分析とばらつき測定を使用して、サービスモデルが攻撃を受けている場合、高い確率で識別するクライアント側攻撃検出モデルを備えている。 攻撃検出と再分類モデルの訓練のための生成的逆ネットワークフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-03-31T19:17:30Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Absolute Wrong Makes Better: Boosting Weakly Supervised Object Detection via Negative Deterministic Information [54.35679298764169]
  弱教師付き物体検出(WSOD)は、画像レベルのラベルを用いて物体検出を訓練する難しい課題である。 本稿では,WSODにおける決定論的情報を特定し,完全に活用することに焦点を当てる。 我々は、WSOD、すなわちNDI-WSODを改善するための負の決定論的情報(NDI)に基づく手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T12:55:27Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Active Learning for Network Traffic Classification: A Technical Survey [1.942265343737899]
  本研究では、アクティブラーニング(AL)と呼ばれるMLのアクティブな形態の適用性について検討し、多数のラベル付きサンプルの必要性を低減させる。 本研究はまず,NTCにおけるML手法の活用分野における文献調査とともに,NTCとその基礎的課題について概説する。 さらに,NTCにALを使用する際の課題とオープンな課題について論じる。
  論文  参考訳（メタデータ） (2021-06-13T06:37:50Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
  機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。 本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
  論文  参考訳（メタデータ） (2020-05-17T22:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。