論文の概要: AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
- arxiv url: http://arxiv.org/abs/2410.00030v1
- Date: Tue, 17 Sep 2024 11:24:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 15:29:12.955709
- Title: AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
- Title（参考訳）: AutoFlow: トラフィック分類に最小限の影響を与えるIPフロー記録圧縮のためのオートエンコーダベースのアプローチ
- Authors: Adrian Pekar,
- Abstract要約: 本稿では,深層学習,特にオートエンコーダを用いたIPフローレコードの圧縮手法を提案する。
本研究では,大規模な実世界のネットワークトラフィックデータセットを用いた大規模な実験を通じて,本手法の有効性を実証する。
この作業の影響は、より効率的なネットワーク監視、リソース制約のある環境でのリアルタイム分析、スケーラブルなネットワーク管理ソリューションにまで及んでいる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel approach to compressing IP flow records using deep learning techniques, specifically autoencoders. Our method aims to significantly reduce data volume while maintaining the utility of the compressed data for downstream analysis tasks. We demonstrate the effectiveness of our approach through extensive experiments on a large-scale, real-world network traffic dataset. The proposed autoencoder-based compression achieves a 3.28x reduction in data size while preserving 99.20% accuracy in a multi-class traffic classification task, compared to 99.77% accuracy with uncompressed data. This marginal decrease in performance is offset by substantial gains in storage efficiency and potential improvements in processing speed. Our method shows particular promise in distinguishing between various modern application protocols, including encrypted traffic from popular services. The implications of this work extend to more efficient network monitoring, real-time analysis in resource-constrained environments, and scalable network management solutions.
- Abstract（参考訳）: 本稿では,深層学習,特にオートエンコーダを用いたIPフローレコードの圧縮手法を提案する。
本手法は,下流解析タスクにおける圧縮データの有用性を維持しつつ,データ量を大幅に削減することを目的としている。
本研究では,大規模な実世界のネットワークトラフィックデータセットを用いた大規模な実験を通じて,本手法の有効性を実証する。
提案したオートエンコーダをベースとした圧縮は、圧縮されていないデータに対して99.77%の精度で、マルチクラストラフィック分類タスクにおいて99.20%の精度を維持しながら、データサイズを3.28倍に削減する。
この性能の限界低下は、ストレージ効率の大幅な向上と、処理速度の潜在的な改善によって相殺される。
本手法は,一般的なサービスからの暗号化トラフィックを含む,最新のアプリケーションプロトコルを区別する上で,特に有望であることを示す。
この作業の影響は、より効率的なネットワーク監視、リソース制約のある環境でのリアルタイム分析、スケーラブルなネットワーク管理ソリューションにまで及んでいる。
関連論文リスト
- NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。
ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
論文 参考訳（メタデータ） (2024-12-30T00:47:49Z) - Efficient Compression of Sparse Accelerator Data Using Implicit Neural Representations and Importance Sampling [7.838980097597047]
核物理学と高エネルギー物理学における大規模粒子衝突は、異常な速度でデータを生成する。
データ学習と圧縮のための暗黙的ニューラル表現を用いた新しい手法を提案する。
また,ネットワークトレーニングプロセスの高速化のための重要サンプリング手法も導入する。
論文 参考訳（メタデータ） (2024-12-02T17:50:49Z) - Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。
data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文 参考訳（メタデータ） (2024-10-17T22:28:07Z) - Enabling robust sensor network design with data processing and
optimization making use of local beehive image and video files [0.0]
最先端のエッジコンピューティング技術を使ってデータ転送とストレージを最適化する革命的なパラダイムです。
提案手法は,画像とビデオのデータ圧縮と数値データに対するデータ集約技術を組み合わせたものである。
このアプローチの重要な側面は、リソース制約のある環境での運用を可能にすることです。
論文 参考訳（メタデータ） (2024-02-26T15:27:47Z) - Edge Storage Management Recipe with Zero-Shot Data Compression for Road
Anomaly Detection [1.4563998247782686]
本研究では,高忠実度音声を保存しながら,効率的なストレージ管理手法を提案する。
収集した高解像度オーディオをコンパクトなコードに符号化する計算ファイル圧縮手法を推奨する。
そこで本研究では,単純かつ効果的なオートエンコーダに基づくデータ圧縮手法を提案する。
論文 参考訳（メタデータ） (2023-07-10T01:30:21Z) - Task-aware Distributed Source Coding under Dynamic Bandwidth [23.610303860657588]
独立エンコーダとジョイントデコーダからなる分散圧縮フレームワークを提案し,ニューラル分散主成分分析(NDPCA)と呼ぶ。
NDPCAは、複数のソースからのデータを単一のモデルで任意の帯域に柔軟に圧縮し、計算とストレージのオーバーヘッドを減らす。
実験の結果,NDPCAは多視点ロボットアーム操作の成功率を9%向上し,衛星画像上の物体検出タスクの精度を14%向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-24T19:20:59Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-09-28T15:16:58Z) - Supervised Compression for Resource-constrained Edge Computing Systems [26.676557573171618]
フルスケールのディープニューラルネットワークは、エネルギーとストレージの面でリソース集約的すぎることが多い。
本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。
教師付きレート歪み性能を向上するとともに、エンドツーエンドのレイテンシも小さくする。
論文 参考訳（メタデータ） (2021-08-21T11:10:29Z) - Attribution Preservation in Network Compression for Reliable Network
Interpretation [81.84564694303397]
安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。
ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。
この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
論文 参考訳（メタデータ） (2020-10-28T16:02:31Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z) - OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。
我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
論文 参考訳（メタデータ） (2020-05-14T17:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。