論文の概要: AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
- arxiv url: http://arxiv.org/abs/2410.00030v2
- Date: Fri, 31 Jan 2025 10:20:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 22:46:12.721145
- Title: AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
- Title（参考訳）: AutoFlow: トラフィック分類に最小限の影響を与えるIPフロー記録圧縮のためのオートエンコーダベースのアプローチ
- Authors: Adrian Pekar,
- Abstract要約: 本稿では,自動エンコーダを用いてIPフローレコードを圧縮する深層学習方式を提案する。
提案手法は,下流解析タスクにおける圧縮データの有用性を維持しながら,データ量を削減する。
この作業の影響は、より効率的なネットワーク監視とスケーラブルでリアルタイムなネットワーク管理ソリューションにまで及ぶ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Network monitoring generates massive volumes of IP flow records, posing significant challenges for storage and analysis. This paper presents a novel deep learning-based approach to compressing these records using autoencoders, enabling direct analysis of compressed data without requiring decompression. Unlike traditional compression methods, our approach reduces data volume while retaining the utility of compressed data for downstream analysis tasks, including distinguishing modern application protocols and encrypted traffic from popular services. Through extensive experiments on a real-world network traffic dataset, we demonstrate that our autoencoder-based compression achieves a 1.313x reduction in data size while maintaining 99.27% accuracy in a multi-class traffic classification task, compared to 99.77% accuracy with uncompressed data. This marginal decrease in performance is offset by substantial gains in storage and processing efficiency. The implications of this work extend to more efficient network monitoring and scalable, real-time network management solutions.
- Abstract（参考訳）: ネットワーク監視は大量のIPフローレコードを生成し、ストレージと分析に大きな課題を生じさせる。
本稿では,これらのレコードをオートエンコーダを用いて圧縮する深層学習に基づく新しい手法を提案する。
従来の圧縮手法とは異なり,本手法では,最新のアプリケーションプロトコルや暗号化トラフィックを一般的なサービスと区別するなど,下流分析タスクにおける圧縮データの有用性を維持しながら,データ量を削減する。
実世界のネットワークトラフィックデータセットに関する広範な実験を通じて、自動エンコーダベースの圧縮は、圧縮されていないデータに対して99.77%の精度で、マルチクラストラフィック分類タスクにおいて99.27%の精度を維持しながら、データサイズの1.313倍の削減を実現していることを示す。
この性能の限界低下は、ストレージと処理効率の大幅な向上によって相殺される。
この作業の影響は、より効率的なネットワーク監視とスケーラブルでリアルタイムなネットワーク管理ソリューションにまで及ぶ。
関連論文リスト
- Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。
本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
論文 参考訳（メタデータ） (2025-03-30T14:23:18Z) - Embedding Compression Distortion in Video Coding for Machines [67.97469042910855]
現在、ビデオ伝送は人間の視覚システム(HVS)だけでなく、分析のための機械認識にも役立っている。
本稿では,機械知覚関連歪み表現を抽出し,下流モデルに埋め込む圧縮歪埋め込み(CDRE)フレームワークを提案する。
我々のフレームワークは,実行時間,パラメータ数といったオーバーヘッドを最小限に抑えて,既存のコーデックのレートタスク性能を効果的に向上させることができる。
論文 参考訳（メタデータ） (2025-03-27T13:01:53Z) - Highly Efficient Direct Analytics on Semantic-aware Time Series Data Compression [15.122371541057339]
本稿では,SHRINK圧縮アルゴリズムにより圧縮された時系列データを直接解析する手法を提案する。
このアプローチは、さまざまなIoTアプリケーションに対して、信頼性が高く、高速な外れ値検出分析を提供します。
論文 参考訳（メタデータ） (2025-03-17T14:58:22Z) - Efficient Compression of Sparse Accelerator Data Using Implicit Neural Representations and Importance Sampling [7.838980097597047]
核物理学と高エネルギー物理学における大規模粒子衝突は、異常な速度でデータを生成する。
データ学習と圧縮のための暗黙的ニューラル表現を用いた新しい手法を提案する。
また,ネットワークトレーニングプロセスの高速化のための重要サンプリング手法も導入する。
論文 参考訳（メタデータ） (2024-12-02T17:50:49Z) - Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。
data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文 参考訳（メタデータ） (2024-10-17T22:28:07Z) - Channel-Aware Throughput Maximization for Cooperative Data Fusion in CAV [17.703608985129026]
接続型および自律型車両(CAV)は、認識範囲の拡大と知覚範囲の増大により、大きな注目を集めている。
盲点や障害物などの問題に対処するため、CAVは周囲の車両からのデータを集めるために車両間通信を採用している。
本稿では,適応データ圧縮のための自己教師付きオートエンコーダを活用した,CAVデータ融合を容易にするチャネル対応スループット手法を提案する。
論文 参考訳（メタデータ） (2024-10-06T00:43:46Z) - Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。
これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。
非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-27T02:28:27Z) - Enabling robust sensor network design with data processing and
optimization making use of local beehive image and video files [0.0]
最先端のエッジコンピューティング技術を使ってデータ転送とストレージを最適化する革命的なパラダイムです。
提案手法は,画像とビデオのデータ圧縮と数値データに対するデータ集約技術を組み合わせたものである。
このアプローチの重要な側面は、リソース制約のある環境での運用を可能にすることです。
論文 参考訳（メタデータ） (2024-02-26T15:27:47Z) - Accelerating Distributed Deep Learning using Lossless Homomorphic
Compression [17.654138014999326]
本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。
集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
論文 参考訳（メタデータ） (2024-02-12T09:57:47Z) - Edge Storage Management Recipe with Zero-Shot Data Compression for Road
Anomaly Detection [1.4563998247782686]
本研究では,高忠実度音声を保存しながら,効率的なストレージ管理手法を提案する。
収集した高解像度オーディオをコンパクトなコードに符号化する計算ファイル圧縮手法を推奨する。
そこで本研究では,単純かつ効果的なオートエンコーダに基づくデータ圧縮手法を提案する。
論文 参考訳（メタデータ） (2023-07-10T01:30:21Z) - Task-aware Distributed Source Coding under Dynamic Bandwidth [24.498190179263837]
独立エンコーダとジョイントデコーダからなる分散圧縮フレームワークを提案し,ニューラル分散主成分分析(NDPCA)と呼ぶ。
NDPCAは、複数のソースからのデータを単一のモデルで任意の帯域に柔軟に圧縮し、計算とストレージのオーバーヘッドを減らす。
実験の結果,NDPCAは多視点ロボットアーム操作の成功率を9%向上し,衛星画像上の物体検出タスクの精度を14%向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-24T19:20:59Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-09-28T15:16:58Z) - Attribution Preservation in Network Compression for Reliable Network
Interpretation [81.84564694303397]
安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。
ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。
この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
論文 参考訳（メタデータ） (2020-10-28T16:02:31Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z) - OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。
我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
論文 参考訳（メタデータ） (2020-05-14T17:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。