論文の概要: Convolutions are Competitive with Transformers for Encrypted Traffic Classification with Pre-training
- arxiv url: http://arxiv.org/abs/2508.02001v1
- Date: Mon, 04 Aug 2025 02:42:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.150305
- Title: Convolutions are Competitive with Transformers for Encrypted Traffic Classification with Pre-training
- Title（参考訳）: 事前学習による暗号化トラフィック分類のための変換器と競合する畳み込み
- Authors: Chungang Lin, Weiyao Zhang, Tianyu Zuo, Chao Zha, Yilong Jiang, Ruiqi Meng, Haitong Luo, Xuying Meng, Yujun Zhang,
- Abstract要約: 我々は,線形複雑化と暗黙的な位置符号化を伴う畳み込みが,事前学習を伴う暗号化トラフィック分類において,トランスフォーマーと競合するかどうかを検討する。
我々は,暗号化トラフィック分類のための新しい学習済み畳み込みモデルであるNetConvを提案する。
我々はNetConvが既存の事前学習モデルよりも平均分類性能を6.88%向上し、モデルのスループットを7.41倍向上することを示した。
- 参考スコア（独自算出の注目度）: 12.150588010496165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Encrypted traffic classification is vital for modern network management and security. To reduce reliance on handcrafted features and labeled data, recent methods focus on learning generic representations through pre-training on large-scale unlabeled data. However, current pre-trained models face two limitations originating from the adopted Transformer architecture: (1) Limited model efficiency due to the self-attention mechanism with quadratic complexity; (2) Unstable traffic scalability to longer byte sequences, as the explicit positional encodings fail to generalize to input lengths not seen during pre-training. In this paper, we investigate whether convolutions, with linear complexity and implicit positional encoding, are competitive with Transformers in encrypted traffic classification with pre-training. We first conduct a systematic comparison, and observe that convolutions achieve higher efficiency and scalability, with lower classification performance. To address this trade-off, we propose NetConv, a novel pre-trained convolution model for encrypted traffic classification. NetConv employs stacked traffic convolution layers, which enhance the ability to capture localized byte-sequence patterns through window-wise byte scoring and sequence-wise byte gating. We design a continuous byte masking pre-training task to help NetConv learn protocol-specific patterns. Experimental results on four tasks demonstrate that NetConv improves average classification performance by 6.88% and model throughput by 7.41X over existing pre-trained models.
- Abstract（参考訳）: 暗号化されたトラフィック分類は、現代のネットワーク管理とセキュリティにとって不可欠である。
近年,手作りの特徴やラベル付きデータへの依存を軽減するため,大規模な未ラベルデータによる事前学習による汎用表現の学習に重点を置いている。
しかし,既存の事前学習モデルでは,(1)自己保持機構による2次複雑化によるモデル効率の制限,(2) 明示的な位置エンコーディングが事前学習中に見られない入力長に一般化できないため,より長いシーケンスをバイパスする不安定なトラフィックスケーラビリティ,という2つの制限に直面している。
本稿では,線形複雑化と暗黙的な位置符号化を伴う畳み込みが,事前学習を伴う暗号化トラフィック分類において,トランスフォーマーと競合するかどうかを検討する。
まず、系統的な比較を行い、畳み込みがより高い効率とスケーラビリティを実現し、分類性能が低いことを観察する。
このトレードオフに対処するため、我々は、暗号化トラフィック分類のための新しいトレーニング済み畳み込みモデルであるNetConvを提案する。
NetConvでは、スタックされたトラフィック畳み込みレイヤを採用し、ウィンドウワイドバイトスコアリングとシーケンスワイドバイトゲーティングを通じて、ローカライズされたバイトシーケンスパターンをキャプチャする機能を強化している。
我々は、NetConvがプロトコル固有のパターンを学ぶのを助けるために、連続バイトマスキング事前学習タスクを設計する。
4つのタスクの実験結果から、NetConvは既存のトレーニング済みモデルよりも平均分類性能を6.88%改善し、モデルのスループットを7.41倍改善した。
関連論文リスト
- Language of Network: A Generative Pre-trained Model for Encrypted Traffic Comprehension [16.795038178588324]
ディープ・ラーニングは、現在、特徴分析を通じて暗号化されたトラフィック分類の主要なアプローチである。
本稿では,暗号化トラフィック理解のための事前学習に基づく生成モデルGBCを提案する。
トラフィック分類と生成タスクの両方において優れた結果が得られ、その結果、分類タスクの最先端手法と比較して、F1スコアが5%向上する。
論文 参考訳（メタデータ） (2025-05-26T04:04:29Z) - A Pipeline of Augmentation and Sequence Embedding for Classification of Imbalanced Network Traffic [0.0]
本稿では,頑健で正確な埋め込み手法を用いて,データセットのバランスと分類を行うパイプラインを提案する。
提案した拡張パイプラインとFS-Embeddingを組み合わせることで収束速度が向上し,モデルパラメータの数が大幅に減少することを示す。
論文 参考訳（メタデータ） (2025-02-26T07:55:24Z) - NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。
ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
論文 参考訳（メタデータ） (2024-12-30T00:47:49Z) - Dual-Path Adversarial Lifting for Domain Shift Correction in Online Test-time Adaptation [59.18151483767509]
テスト時間適応におけるドメインシフト補正のためのデュアルパストークンリフトを導入する。
次に、インターリーブされたトークン予測とドメインシフトトークンのパスとクラストークンのパスの間の更新を行う。
評価実験の結果,提案手法はオンライン完全テスト時間領域適応性能を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-08-26T02:33:47Z) - One Train for Two Tasks: An Encrypted Traffic Classification Framework
Using Supervised Contrastive Learning [18.63871240173137]
CLE-TFE(Contrastive Learning Enhanced Temporal Fusion)と呼ばれる効果的なモデルを提案する。
特に、教師付きコントラスト学習を利用して、パケットレベルおよびフローレベル表現を強化する。
また、パケットレベルとフローレベルの分類タスクを1つのトレーニングで同時に行うクロスレベルマルチタスク学習を提案する。
論文 参考訳（メタデータ） (2024-02-12T09:10:09Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Transformers for End-to-End InfoSec Tasks: A Feasibility Study [6.847381178288385]
私たちは2つの異なるInfoSecデータフォーマット、特にURLとPEファイルに対してトランスフォーマーモデルを実装します。
URLトランスフォーマーモデルは、高いパフォーマンスレベルに達するためには、異なるトレーニングアプローチが必要です。
提案手法は,PEファイルのベンチマークデータセット上で,確立されたマルウェア検出モデルに相容れない性能を示す。
論文 参考訳（メタデータ） (2022-12-05T23:50:46Z) - Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。
提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
論文 参考訳（メタデータ） (2022-07-15T17:10:48Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳（メタデータ） (2021-11-26T11:58:51Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。