論文の概要: Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices

• arxiv url: http://arxiv.org/abs/2306.14263v2
• Date: Thu, 8 Feb 2024 07:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 19:36:02.994065
• Title: Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices
• Title（参考訳）: 大規模言語モデルによるサイバー脅威検出の革命:IoT/IIoTデバイスのためのプライバシー保護BERTベースの軽量モデル
• Authors: Mohamed Amine Ferrag, Mthandazo Ndhlovu, Norbert Tihanyi, Lucas C. Cordeiro, Merouane Debbah, Thierry Lestable, Narinderjit Singh Thandi
• Abstract要約: 本稿では,インターネットネットワークにおけるサイバー脅威検出にBERT(Bidirectional Representations from Transformers)モデルを活用する,新たなアーキテクチャであるSecurityBERTを提案する。 我々の研究は、SecurityBERTがサイバー脅威検出において、畳み込みニューラルネットワーク(CNNIoT)やリカレントニューラルネットワーク(IoTRNN)など、従来の機械学習(ML)とディープラーニング(DL)の手法より優れていることを示した。 SecurityBERTは、14の異なる攻撃タイプを特定することで、98.2%の全体的な精度を達成し、ハイブリッドソリューションによって設定された過去の記録を上回った。
• 参考スコア（独自算出の注目度）: 3.340416780217405
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The field of Natural Language Processing (NLP) is currently undergoing a revolutionary transformation driven by the power of pre-trained Large Language Models (LLMs) based on groundbreaking Transformer architectures. As the frequency and diversity of cybersecurity attacks continue to rise, the importance of incident detection has significantly increased. IoT devices are expanding rapidly, resulting in a growing need for efficient techniques to autonomously identify network-based attacks in IoT networks with both high precision and minimal computational requirements. This paper presents SecurityBERT, a novel architecture that leverages the Bidirectional Encoder Representations from Transformers (BERT) model for cyber threat detection in IoT networks. During the training of SecurityBERT, we incorporated a novel privacy-preserving encoding technique called Privacy-Preserving Fixed-Length Encoding (PPFLE). We effectively represented network traffic data in a structured format by combining PPFLE with the Byte-level Byte-Pair Encoder (BBPE) Tokenizer. Our research demonstrates that SecurityBERT outperforms traditional Machine Learning (ML) and Deep Learning (DL) methods, such as Convolutional Neural Networks (CNNs) or Recurrent Neural Networks (RNNs), in cyber threat detection. Employing the Edge-IIoTset cybersecurity dataset, our experimental analysis shows that SecurityBERT achieved an impressive 98.2% overall accuracy in identifying fourteen distinct attack types, surpassing previous records set by hybrid solutions such as GAN-Transformer-based architectures and CNN-LSTM models. With an inference time of less than 0.15 seconds on an average CPU and a compact model size of just 16.7MB, SecurityBERT is ideally suited for real-life traffic analysis and a suitable choice for deployment on resource-constrained IoT devices.
• Abstract（参考訳）: 自然言語処理(nlp)の分野は現在、革新的なトランスフォーマーアーキテクチャに基づいた事前訓練された大規模言語モデル(llms)の力によって駆動される革命的な変革が行われている。 サイバーセキュリティ攻撃の頻度と多様性が増加し続けており、インシデント検出の重要性が著しく高まっている。 IoTデバイスは急速に拡大しており、高い精度と最小の計算要件の両方でIoTネットワークにおけるネットワークベースの攻撃を自律的に識別する効率的なテクニックの必要性が高まっている。 本稿では,双方向エンコーダ表現(BERT)モデルを利用した新しいアーキテクチャであるSecurityBERTを,IoTネットワークにおけるサイバー脅威検出に適用する。 SecurityBERTのトレーニング中に、プライバシー保護固定長符号化(PPFLE)と呼ばれる新しいプライバシ保護符号化手法を組み込んだ。 我々は、PPFLEとByte-level Byte-Pair Encoder (BBPE) Tokenizerを組み合わせることで、ネットワークトラフィックデータを構造化形式で効果的に表現した。 我々の研究は、SecurityBERTがサイバー脅威検出において、畳み込みニューラルネットワーク(CNN)やリカレントニューラルネットワーク(RNN)など、従来の機械学習(ML)およびディープラーニング(DL)手法より優れていることを示した。 Edge-IIoTsetのサイバーセキュリティデータセットを使用することで、SecurityBERTは、14の異なる攻撃タイプを識別する上で、98.2%の全体的な精度を達成し、GAN-TransformerベースのアーキテクチャやCNN-LSTMモデルといったハイブリッドソリューションによって設定された過去の記録を上回りました。 平均CPUで0.15秒未満の推論時間と16.7MBのコンパクトモデルサイズを持つSecurityBERTは、現実のトラフィック分析に理想的であり、リソースに制約のあるIoTデバイスへのデプロイメントに適した選択である。

関連論文リスト

• CTINEXUS: Leveraging Optimized LLM In-Context Learning for Constructing Cybersecurity Knowledge Graphs Under Data Scarcity [49.657358248788945]
  サイバー脅威インテリジェンス(CTI)レポートのテキスト記述は、サイバー脅威に関する豊富な知識源である。 現在のCTI抽出法は柔軟性と一般化性に欠けており、しばしば不正確で不完全な知識抽出をもたらす。 CTINexusは,大規模言語モデルのテキスト内学習(ICL)を最適化した新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-28T14:18:32Z)
• Beyond Detection: Leveraging Large Language Models for Cyber Attack Prediction in IoT Networks [4.836070911511429]
  本稿では,Long Short Term Memory(LSTM)ネットワークとLarge Language Models(LLM)を組み合わせた新しいネットワーク侵入予測フレームワークを提案する。 我々のフレームワークは、CICIoT2023 IoT攻撃データセットに基づいて評価され、予測能力の大幅な改善を示し、全体的な精度は98%である。
  論文  参考訳（メタデータ） (2024-08-26T06:57:22Z)
• Efficient Intrusion Detection: Combining $χ^2$ Feature Selection with CNN-BiLSTM on the UNSW-NB15 Dataset [2.239394800147746]
  侵入検知システム(IDS)は、従来のコンピュータシステムにおけるサイバー攻撃の検出と防止に重要な役割を果たしてきた。 Internet of Things(IoT)デバイスで利用可能な限られた計算リソースは、従来のコンピューティングベースのIDSをデプロイする上での課題である。 本稿では、軽量畳み込みニューラルネットワーク(CNN)と双方向長短期記憶(BiLSTM)を組み合わせた効果的なIDSモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T17:41:16Z)
• A Cutting-Edge Deep Learning Method For Enhancing IoT Security [0.0]
  本稿では,Deep Learning-integrated Convolutional Neural Networks (CNN) とLong Short-Term Memory (LSTM) ネットワークを用いたモノのインターネット(IoT)環境侵入検知システム(IDS)の革新的な設計を提案する。 われわれのモデルはCICIDS 2017データセットに基づいて、ネットワークトラフィックを良性または悪意のいずれかとして分類する精度99.52%を達成した。
  論文  参考訳（メタデータ） (2024-06-18T08:42:51Z)
• Lightweight CNN-BiLSTM based Intrusion Detection Systems for Resource-Constrained IoT Devices [38.16309790239142]
  侵入検知システム(IDS)は、従来のコンピュータシステムにおけるサイバー攻撃の検出と防止に重要な役割を果たしてきた。 Internet of Things(IoT)デバイスで利用可能な限られた計算リソースは、従来のコンピューティングベースのIDSのデプロイを困難にしている。 軽量CNNと双方向LSTM(BiLSTM)を組み合わせたハイブリッドCNNアーキテクチャを提案し,UNSW-NB15データセット上でのIDSの性能向上を図る。
  論文  参考訳（メタデータ） (2024-06-04T20:36:21Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Semantic Communication Enabling Robust Edge Intelligence for Time-Critical IoT Applications [87.05763097471487]
  本稿では、時間クリティカルなIoTアプリケーションのためのセマンティック通信を用いて、堅牢なエッジインテリジェンスを設計することを目的とする。 本稿では,画像DCT係数が推定精度に与える影響を解析し,オフロードのためのチャネル非依存の有効性符号化を提案する。
  論文  参考訳（メタデータ） (2022-11-24T20:13:17Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Semi-supervised Variational Temporal Convolutional Network for IoT Communication Multi-anomaly Detection [3.3659034873495632]
  モノのインターネット(IoT)デバイスは、巨大な通信ネットワークを構築するために構築されます。 これらのデバイスは実際には安全ではないため、通信ネットワークが攻撃者によって露出されることを意味する。 本稿では,IoT 複数異常検出のための半監視ネットワーク SS-VTCN を提案する。
  論文  参考訳（メタデータ） (2021-04-05T08:51:24Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。