論文の概要: NetMamba: Efficient Network Traffic Classification via Pre-training Unidirectional Mamba

• arxiv url: http://arxiv.org/abs/2405.11449v4
• Date: Sun, 20 Oct 2024 13:20:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:11:08.852306
• Title: NetMamba: Efficient Network Traffic Classification via Pre-training Unidirectional Mamba
• Title（参考訳）: NetMamba: 事前トレーニングによるネットワークトラフィックの効率的な分類
• Authors: Tongze Wang, Xiaohui Xie, Wenduo Wang, Chuyi Wang, Youjian Zhao, Yong Cui,
• Abstract要約: ネットワークトラフィックの分類は、サービス品質の向上、ネットワーク管理の効率化、サイバーセキュリティの強化を目的とした重要な研究分野である。 既存のアプローチは2つの大きな課題に直面している。まず、広く使われているTransformerアーキテクチャの2次複雑さのために、モデル非効率に苦しむ。 本稿では,包括的トラフィック表現方式を備えた線形時間空間モデルであるNetMambaを提案する。
• 参考スコア（独自算出の注目度）: 14.02833253204577
• License:
• Abstract: Network traffic classification is a crucial research area aiming to enhance service quality, streamline network management, and bolster cybersecurity. To address the growing complexity of transmission encryption techniques, various machine learning and deep learning methods have been proposed. However, existing approaches face two main challenges. Firstly, they struggle with model inefficiency due to the quadratic complexity of the widely used Transformer architecture. Secondly, they suffer from inadequate traffic representation because of discarding important byte information while retaining unwanted biases. To address these challenges, we propose NetMamba, an efficient linear-time state space model equipped with a comprehensive traffic representation scheme. We adopt a specially selected and improved unidirectional Mamba architecture for the networking field, instead of the Transformer, to address efficiency issues. In addition, we design a traffic representation scheme to extract valid information from massive traffic data while removing biased information. Evaluation experiments on six public datasets encompassing three main classification tasks showcase NetMamba's superior classification performance compared to state-of-the-art baselines. It achieves an accuracy rate of nearly 99% (some over 99%) in all tasks. Additionally, NetMamba demonstrates excellent efficiency, improving inference speed by up to 60 times while maintaining comparably low memory usage. Furthermore, NetMamba exhibits superior few-shot learning abilities, achieving better classification performance with fewer labeled data. To the best of our knowledge, NetMamba is the first model to tailor the Mamba architecture for networking.
• Abstract（参考訳）: ネットワークトラフィックの分類は、サービス品質の向上、ネットワーク管理の効率化、サイバーセキュリティの強化を目的とした重要な研究分野である。 送信暗号化技術の複雑さの増大に対処するため、様々な機械学習とディープラーニング手法が提案されている。 しかし、既存のアプローチは2つの大きな課題に直面している。 まず、広く使われているTransformerアーキテクチャの2次複雑さのため、モデル非効率に苦しむ。 第二に、不要なバイアスを保ちながら重要なバイト情報を破棄するため、トラフィックの表現が不十分である。 これらの課題に対処するために,包括的トラフィック表現方式を備えた効率的な線形時間状態空間モデルであるNetMambaを提案する。 効率問題に対処するために、トランスフォーマーの代わりに、ネットワークフィールド用に特別に選択され改良された一方向のMambaアーキテクチャを採用する。 さらに,バイアス情報を取り除き,大量のトラフィックデータから有効な情報を抽出するトラフィック表現方式を設計する。 3つの主要な分類タスクを含む6つの公開データセットの評価実験は、最先端のベースラインと比較して、NetMambaの優れた分類性能を示している。 すべてのタスクにおいて、ほぼ99%(一部は99%)の精度を達成する。 さらに、NetMambaは優れた効率を示し、最大60倍の推論速度を向上し、メモリ使用量も相容れないほど低い。 さらに、NetMambaは、ラベル付きデータの少ない分類性能で、より優れた数ショット学習能力を示す。 私たちの知る限りでは、NetMambaはネットワーク用にMambaアーキテクチャをカスタマイズする最初のモデルです。

関連論文リスト

• Exploring contextual modeling with linear complexity for point cloud segmentation [43.36716250540622]
  効率的なポイントクラウドセグメンテーションアーキテクチャの鍵となるコンポーネントを同定する。 我々は,Mambaが線形計算複雑性を特徴とし,トランスフォーマーに比べて優れたデータと推論効率を提供することを示した。 さらに、ポイントクラウドセグメンテーションのための標準のMambaをさらに強化し、その2つの重要な欠点を特定します。
  論文  参考訳（メタデータ） (2024-10-28T16:56:30Z)
• Revealing and Mitigating the Local Pattern Shortcuts of Mamba [25.19835905377437]
  この問題に対処するために,グローバルな選択モジュールをMambaモデルに導入する。 提案手法では,4M余剰パラメータの導入により,分散情報を用いたタスクにおいて,Mambaモデル(130M)が大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-21T06:42:11Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• NetBench: A Large-Scale and Comprehensive Network Traffic Benchmark Dataset for Foundation Models [15.452625276982987]
  ネットワークトラフィック(ネットワークトラフィック、英: network traffic)は、インターネット上のコンピュータやサイバー物理システム間のパケットの形で送信されるデータ量である。 我々は,ネットワークトラフィック分類と生成タスクの両方において,機械学習モデル,特に基礎モデルを評価するための大規模かつ包括的なベンチマークデータセットであるNetBenchを紹介した。
  論文  参考訳（メタデータ） (2024-03-15T14:09:54Z)
• Lens: A Foundation Model for Network Traffic [19.3652490585798]
  Lensは、T5アーキテクチャを活用して、大規模な未ラベルデータから事前訓練された表現を学習するネットワークトラフィックの基礎モデルである。 Masked Span Prediction(MSP)、Packet Order Prediction(POP)、Homologous Traffic Prediction(HTP)の3つの異なるタスクを組み合わせた新しい損失を設計する。
  論文  参考訳（メタデータ） (2024-02-06T02:45:13Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)
• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• NetGPT: Generative Pretrained Transformer for Network Traffic [4.205009931131087]
  ネットワークトラフィックの事前訓練モデルでは,大規模生データを用いてネットワークトラフィックの本質的特性を学習することができる。 本稿では,トラフィックの理解と生成のための生成事前学習モデルNetGPTを提案する。
  論文  参考訳（メタデータ） (2023-04-19T09:04:30Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。