論文の概要: AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
- arxiv url: http://arxiv.org/abs/2410.00030v1
- Date: Tue, 17 Sep 2024 11:24:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 15:29:12.955709
- Title: AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
- Title（参考訳）: AutoFlow: トラフィック分類に最小限の影響を与えるIPフロー記録圧縮のためのオートエンコーダベースのアプローチ
- Authors: Adrian Pekar,
- Abstract要約: 本稿では,深層学習,特にオートエンコーダを用いたIPフローレコードの圧縮手法を提案する。
本研究では,大規模な実世界のネットワークトラフィックデータセットを用いた大規模な実験を通じて,本手法の有効性を実証する。
この作業の影響は、より効率的なネットワーク監視、リソース制約のある環境でのリアルタイム分析、スケーラブルなネットワーク管理ソリューションにまで及んでいる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel approach to compressing IP flow records using deep learning techniques, specifically autoencoders. Our method aims to significantly reduce data volume while maintaining the utility of the compressed data for downstream analysis tasks. We demonstrate the effectiveness of our approach through extensive experiments on a large-scale, real-world network traffic dataset. The proposed autoencoder-based compression achieves a 3.28x reduction in data size while preserving 99.20% accuracy in a multi-class traffic classification task, compared to 99.77% accuracy with uncompressed data. This marginal decrease in performance is offset by substantial gains in storage efficiency and potential improvements in processing speed. Our method shows particular promise in distinguishing between various modern application protocols, including encrypted traffic from popular services. The implications of this work extend to more efficient network monitoring, real-time analysis in resource-constrained environments, and scalable network management solutions.
- Abstract（参考訳）: 本稿では,深層学習,特にオートエンコーダを用いたIPフローレコードの圧縮手法を提案する。
本手法は,下流解析タスクにおける圧縮データの有用性を維持しつつ,データ量を大幅に削減することを目的としている。
本研究では,大規模な実世界のネットワークトラフィックデータセットを用いた大規模な実験を通じて,本手法の有効性を実証する。
提案したオートエンコーダをベースとした圧縮は、圧縮されていないデータに対して99.77%の精度で、マルチクラストラフィック分類タスクにおいて99.20%の精度を維持しながら、データサイズを3.28倍に削減する。
この性能の限界低下は、ストレージ効率の大幅な向上と、処理速度の潜在的な改善によって相殺される。
本手法は,一般的なサービスからの暗号化トラフィックを含む,最新のアプリケーションプロトコルを区別する上で,特に有望であることを示す。
この作業の影響は、より効率的なネットワーク監視、リソース制約のある環境でのリアルタイム分析、スケーラブルなネットワーク管理ソリューションにまで及んでいる。
関連論文リスト
- Channel-Aware Throughput Maximization for Cooperative Data Fusion in CAV [17.703608985129026]
接続型および自律型車両(CAV)は、認識範囲の拡大と知覚範囲の増大により、大きな注目を集めている。
盲点や障害物などの問題に対処するため、CAVは周囲の車両からのデータを集めるために車両間通信を採用している。
本稿では,適応データ圧縮のための自己教師付きオートエンコーダを活用した,CAVデータ融合を容易にするチャネル対応スループット手法を提案する。
論文 参考訳（メタデータ） (2024-10-06T00:43:46Z) - Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。
これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。
非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-27T02:28:27Z) - Enabling robust sensor network design with data processing and
optimization making use of local beehive image and video files [0.0]
最先端のエッジコンピューティング技術を使ってデータ転送とストレージを最適化する革命的なパラダイムです。
提案手法は,画像とビデオのデータ圧縮と数値データに対するデータ集約技術を組み合わせたものである。
このアプローチの重要な側面は、リソース制約のある環境での運用を可能にすることです。
論文 参考訳（メタデータ） (2024-02-26T15:27:47Z) - Accelerating Distributed Deep Learning using Lossless Homomorphic
Compression [17.654138014999326]
本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。
集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
論文 参考訳（メタデータ） (2024-02-12T09:57:47Z) - Task-aware Distributed Source Coding under Dynamic Bandwidth [24.498190179263837]
独立エンコーダとジョイントデコーダからなる分散圧縮フレームワークを提案し,ニューラル分散主成分分析(NDPCA)と呼ぶ。
NDPCAは、複数のソースからのデータを単一のモデルで任意の帯域に柔軟に圧縮し、計算とストレージのオーバーヘッドを減らす。
実験の結果,NDPCAは多視点ロボットアーム操作の成功率を9%向上し,衛星画像上の物体検出タスクの精度を14%向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-24T19:20:59Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-09-28T15:16:58Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z) - OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。
我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
論文 参考訳（メタデータ） (2020-05-14T17:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。