論文の概要: netFound: Foundation Model for Network Security

• arxiv url: http://arxiv.org/abs/2310.17025v3
• Date: Mon, 07 Oct 2024 23:07:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:27:11.778314
• Title: netFound: Foundation Model for Network Security
• Title（参考訳）: netFound: ネットワークセキュリティのための基盤モデル
• Authors: Satyandra Guthula, Roman Beltiukov, Navya Battula, Wenbo Guo, Arpit Gupta,
• Abstract要約: 本稿では,新しいトランスフォーマーベースネットワーク基盤モデルであるnetFoundを紹介する。 我々は、事前学習のために、豊富なラベルのないネットワークテレメトリデータに自己教師付き学習技術を採用する。 実運用環境では,netFoundが隠れたネットワークコンテキストを効果的にキャプチャすることを示す。
• 参考スコア（独自算出の注目度）: 11.38388749887112
• License:
• Abstract: Developing generalizable ML-based solutions for disparate learning problems in network security is highly desired. However, despite a rich history of applying ML to network security, most existing solutions lack generalizability. This lack of progress can be attributed to an overreliance on supervised learning techniques and the associated challenges of curating well-specified labeled training data. This paper addresses a fundamental gap by introducing a novel transformer-based network foundation model, netFound. We employ self-supervised learning techniques on abundant, unlabeled network telemetry data for pre-training. This pretrained model can subsequently be fine-tuned to create generalizable learning artifacts for disparate learning tasks, even when using commonly available but challenging labeled datasets that are sparse, noisy, and skewed. To realize this goal, netFound leverages various domain-specific attributes and constraints unique to network data (packet traces) by developing multi-modal embeddings, protocol-aware tokenization, data-driven token composition, and hierarchical transformers. Our results demonstrate that netFound's domain-specific design choices ensure that it (1) effectively captures the hidden networking context in production settings, (2) outperforms four different SOTA methods on five different learning tasks, and (3) is robust to both noisy labels and learning shortcuts -- critical for developing generalizable ML models in practical settings.
• Abstract（参考訳）: ネットワークセキュリティにおける異種学習問題に対する一般化可能なMLベースのソリューションの開発が望まれている。 しかし、MLをネットワークセキュリティに適用した豊富な歴史にもかかわらず、既存のソリューションのほとんどは一般化性に欠ける。 この進歩の欠如は、教師付き学習技術への過度な依存と、よく特定されたラベル付きトレーニングデータのキュレーションに関する課題に起因している。 本稿では,新しいトランスフォーマーベースネットワーク基盤モデルであるnetFoundを導入することで,基本的なギャップを解消する。 我々は、事前学習のために、豊富なラベルのないネットワークテレメトリデータに自己教師付き学習技術を採用する。 この事前訓練されたモデルは、スパース、ノイズ、歪んだラベル付きデータセットを使用しても、異なる学習タスクのための一般化可能な学習アーティファクトを作成するように微調整することができる。 この目標を達成するため、netFoundはマルチモーダル埋め込み、プロトコル対応トークン化、データ駆動トークン合成、階層変換器を開発することにより、ネットワークデータ(パケットトレース)に特有のさまざまなドメイン固有の属性と制約を活用している。 以上の結果から,(1)本番環境での隠れネットワークコンテキストを効果的に捉えること,(2)5つの異なる学習タスクにおいて4つのSOTAメソッドより優れていること,(3)実運用環境での一般化可能なMLモデル開発に不可欠な雑音ラベルと学習ショートカットの両方に対して堅牢であることを示す。

関連論文リスト

• A Survey of Machine Learning-based Physical-Layer Authentication in Wireless Communications [17.707450193500698]
  無線環境におけるユニークな特性の活用により,Physical-Layer Authentication (PLA) が有望な補完として浮上している。 本稿では,MLベースのPLAで使用可能な特徴と技術について,包括的に調査する。
  論文  参考訳（メタデータ） (2024-11-15T03:01:23Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks [7.291687946822538]
  シーケンシャルデータに対する継続的な学習は多くの機械学習(ML)デプロイメントにおいて重要である。 LSTMネットワークは破滅的な忘れ込みに悩まされており、複数のタスクを継続的に学習する能力に制限がある。 LSTMネットワークにおける破滅的な忘れは、2つの斬新で容易に実装可能な方法で克服できることがわかった。
  論文  参考訳（メタデータ） (2023-05-26T20:17:18Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Transfer Learning with Pre-trained Conditional Generative Models [29.43740987925133]
  本稿では, 擬似事前学習と擬似半教師学習の2段階からなる, 深層生成モデルを用いた伝達学習手法を提案する。 実験結果から,スクラッチトレーニングと知識蒸留の基準線を上回り,本手法が有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-04-27T10:36:32Z)
• Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
  このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
  論文  参考訳（メタデータ） (2021-09-06T21:31:42Z)
• Federated Learning: A Signal Processing Perspective [144.63726413692876]
  フェデレーションラーニングは、データを明示的に交換することなく、ローカルデータセットを保持する複数のエッジデバイスでモデルをトレーニングするための新しい機械学習パラダイムです。 本稿では、信号処理ツールを用いて扱うのが自然である主な課題をカプセル化し、強調する、連合学習のための統一的な体系的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T15:14:39Z)
• Applying Graph-based Deep Learning To Realistic Network Scenarios [5.453745629140304]
  本稿では,ネットワーク内のパスごとの平均遅延を正確に推定できるグラフベースの新しいディープラーニングモデルを提案する。 提案モデルでは,トレーニングフェーズ中に見つからないトポロジ,ルーティング構成,キュースケジューリングポリシ,トラフィック行列をうまく一般化することができる。
  論文  参考訳（メタデータ） (2020-10-13T20:58:59Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。