論文の概要: Encoding NetFlows for State-Machine Learning
- arxiv url: http://arxiv.org/abs/2207.03890v1
- Date: Fri, 8 Jul 2022 13:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 17:22:16.341061
- Title: Encoding NetFlows for State-Machine Learning
- Title（参考訳）: 状態機械学習のためのネットフローの符号化
- Authors: Clinton Cao, Annibale Panichella, Sicco Verwer, Agathe Blaise, Filippo
Rebecchi
- Abstract要約: 我々は、特徴値の頻度と文脈の類似性は、値自体の類似性よりも重要であると主張する。
本稿では,データ処理時の特徴値の頻度と文脈を考慮に入れた符号化アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 17.94733537757708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: NetFlow data is a well-known network log format used by many network analysts
and researchers. The advantages of using this format compared to pcap are that
it contains fewer data, is less privacy intrusive, and is easier to collect and
process. However, having less data does mean that this format might not be able
to capture important network behaviour as all information is summarised into
statistics. Much research aims to overcome this disadvantage through the use of
machine learning, for instance, to detect attacks within a network. Many
approaches can be used to pre-process the NetFlow data before it is used to
train the machine learning algorithms. However, many of these approaches simply
apply existing methods to the data, not considering the specific properties of
network data. We argue that for data originating from software systems, such as
NetFlow or software logs, similarities in frequency and contexts of feature
values are more important than similarities in the value itself. In this work,
we, therefore, propose an encoding algorithm that directly takes the frequency
and the context of the feature values into account when the data is being
processed. Different types of network behaviours can be clustered using this
encoding, thus aiding the process of detecting anomalies within the network.
From windows of these clusters obtained from monitoring a clean system, we
learn state machine behavioural models for anomaly detection. These models are
very well-suited to modelling the cyclic and repetitive patterns present in
NetFlow data. We evaluate our encoding on a new dataset that we created for
detecting problems in Kubernetes clusters and on two well-known public NetFlow
datasets. The obtained performance results of the state machine models are
comparable to existing works that use many more features and require both clean
and infected data as training input.
- Abstract（参考訳）: NetFlow Dataは、多くのネットワークアナリストや研究者が使用しているよく知られたネットワークログフォーマットである。
pcapに比べてこのフォーマットを使用する利点は、データが少ないこと、プライバシー侵害が少ないこと、収集や処理が容易であることである。
しかし、データが少ないことは、すべての情報が統計に要約されるため、このフォーマットが重要なネットワークの振る舞いをキャプチャできないことを意味する。
多くの研究は、例えばネットワーク内の攻撃を検出する機械学習を使うことで、この欠点を克服することを目指している。
機械学習アルゴリズムのトレーニングに使用される前に、netflowデータの事前処理に多くのアプローチが利用できる。
しかし、これらのアプローチの多くは、ネットワークデータの特性を考慮せず、既存の手法をデータに適用する。
我々は,netflow や software log のようなソフトウェアシステムに由来するデータに対して,特徴値の頻度や文脈の類似性は,値自体の類似性よりも重要であると主張する。
そこで本研究では,データ処理時の特徴値の周波数とコンテキストを直接考慮した符号化アルゴリズムを提案する。
このエンコーディングを使って異なるタイプのネットワーク動作をクラスタ化することができ、ネットワーク内の異常を検出するプロセスを支援する。
クリーンシステムの監視から得られたこれらのクラスタのウィンドウから、異常検出のための状態マシンの動作モデルを学ぶ。
これらのモデルは、NetFlowデータに存在する循環パターンと反復パターンをモデル化するのに非常に適しています。
kubernetesクラスタとよく知られた2つのパブリックなnetflowデータセットで問題を検出するために作成した新しいデータセットのエンコーディングを評価します。
得られた状態マシンモデルの性能結果は、多くの機能を使用し、トレーニング入力としてクリーンデータと感染データの両方を必要とする既存の作業に匹敵する。
関連論文リスト
- NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。
ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
論文 参考訳（メタデータ） (2024-12-30T00:47:49Z) - SCGNet-Stacked Convolution with Gated Recurrent Unit Network for Cyber Network Intrusion Detection and Intrusion Type Classification [0.0]
侵入検知システム(IDS)は、複雑で多様なネットワーク攻撃を迅速かつ効率的に識別できるものではない。
SCGNetは,本研究で提案する新しいディープラーニングアーキテクチャである。
NSL-KDDデータセットは、それぞれ99.76%と98.92%の精度で、ネットワーク攻撃検出と攻撃タイプ分類の両方で有望な結果を示す。
論文 参考訳（メタデータ） (2024-10-29T09:09:08Z) - NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。
ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。
報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
論文 参考訳（メタデータ） (2024-10-24T11:36:19Z) - Network Security Modelling with Distributional Data [4.133655523622441]
大規模IPトラフィックにおけるボットネットコマンドと制御(C2)ホストの検出について,機械学習を用いて検討する。
私たちは、IPトラフィックを監視する業界標準であるNetFlowデータと、2つの機能セットを使用してMLモデルを使用します。
予測モデルでは,IPレベルの分布の量子化を入力特性として用いて,IPが既知のボットネットファミリーに属するかどうかを予測する。
論文 参考訳（メタデータ） (2022-11-24T05:18:17Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Learning the Structure of Auto-Encoding Recommenders [1.9981375888949475]
我々は,協調フィルタリング領域に存在する固有項目群を利用して,オートエンコーダの推薦者に対する構造学習を導入する。
そこで本研究では,まず関連項目のグループを学習し,その情報を用いて自動符号化ニューラルネットワークの接続構造を決定する手法を提案する。
結果として得られたスパースネットワークは、複数のベンチマークデータセット上で、textscMult-vae/Mult-daeのような最先端の手法よりもかなり優れています。
論文 参考訳（メタデータ） (2020-08-18T14:37:40Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Fault Handling in Large Water Networks with Online Dictionary Learning [1.933681537640272]
ここでは、センサ配置を行う際にネットワークトポロジを考慮に入れたデータ駆動の代替手段を提供することで、モデルを単純化する。
オンライン学習は高速で、一度に小さな信号のバッチを処理するため、大きなネットワークに取り組むことができる。
このアルゴリズムは、小規模ネットワークと大規模ネットワークの両方でテストした場合、優れた性能を示す。
論文 参考訳（メタデータ） (2020-03-18T21:46:14Z) - Automating Botnet Detection with Graph Neural Networks [106.24877728212546]
ボットネットは、DDoS攻撃やスパムなど、多くのネットワーク攻撃の主要なソースとなっている。
本稿では,最新のディープラーニング技術を用いてボットネット検出のポリシーを自動学習するニューラルネットワーク設計の課題について考察する。
論文 参考訳（メタデータ） (2020-03-13T15:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。