論文の概要: Revolutionizing Cyber Threat Detection with Large Language Models: A
privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices
- arxiv url: http://arxiv.org/abs/2306.14263v2
- Date: Thu, 8 Feb 2024 07:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:36:02.994065
- Title: Revolutionizing Cyber Threat Detection with Large Language Models: A
privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices
- Title(参考訳): 大規模言語モデルによるサイバー脅威検出の革命:IoT/IIoTデバイスのためのプライバシー保護BERTベースの軽量モデル
- Authors: Mohamed Amine Ferrag, Mthandazo Ndhlovu, Norbert Tihanyi, Lucas C.
Cordeiro, Merouane Debbah, Thierry Lestable, Narinderjit Singh Thandi
- Abstract要約: 本稿では,インターネットネットワークにおけるサイバー脅威検出にBERT(Bidirectional Representations from Transformers)モデルを活用する,新たなアーキテクチャであるSecurityBERTを提案する。
我々の研究は、SecurityBERTがサイバー脅威検出において、畳み込みニューラルネットワーク(CNNIoT)やリカレントニューラルネットワーク(IoTRNN)など、従来の機械学習(ML)とディープラーニング(DL)の手法より優れていることを示した。
SecurityBERTは、14の異なる攻撃タイプを特定することで、98.2%の全体的な精度を達成し、ハイブリッドソリューションによって設定された過去の記録を上回った。
- 参考スコア(独自算出の注目度): 3.340416780217405
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The field of Natural Language Processing (NLP) is currently undergoing a
revolutionary transformation driven by the power of pre-trained Large Language
Models (LLMs) based on groundbreaking Transformer architectures. As the
frequency and diversity of cybersecurity attacks continue to rise, the
importance of incident detection has significantly increased. IoT devices are
expanding rapidly, resulting in a growing need for efficient techniques to
autonomously identify network-based attacks in IoT networks with both high
precision and minimal computational requirements. This paper presents
SecurityBERT, a novel architecture that leverages the Bidirectional Encoder
Representations from Transformers (BERT) model for cyber threat detection in
IoT networks. During the training of SecurityBERT, we incorporated a novel
privacy-preserving encoding technique called Privacy-Preserving Fixed-Length
Encoding (PPFLE). We effectively represented network traffic data in a
structured format by combining PPFLE with the Byte-level Byte-Pair Encoder
(BBPE) Tokenizer. Our research demonstrates that SecurityBERT outperforms
traditional Machine Learning (ML) and Deep Learning (DL) methods, such as
Convolutional Neural Networks (CNNs) or Recurrent Neural Networks (RNNs), in
cyber threat detection. Employing the Edge-IIoTset cybersecurity dataset, our
experimental analysis shows that SecurityBERT achieved an impressive 98.2%
overall accuracy in identifying fourteen distinct attack types, surpassing
previous records set by hybrid solutions such as GAN-Transformer-based
architectures and CNN-LSTM models. With an inference time of less than 0.15
seconds on an average CPU and a compact model size of just 16.7MB, SecurityBERT
is ideally suited for real-life traffic analysis and a suitable choice for
deployment on resource-constrained IoT devices.
- Abstract(参考訳): 自然言語処理(nlp)の分野は現在、革新的なトランスフォーマーアーキテクチャに基づいた事前訓練された大規模言語モデル(llms)の力によって駆動される革命的な変革が行われている。
サイバーセキュリティ攻撃の頻度と多様性が増加し続けており、インシデント検出の重要性が著しく高まっている。
IoTデバイスは急速に拡大しており、高い精度と最小の計算要件の両方でIoTネットワークにおけるネットワークベースの攻撃を自律的に識別する効率的なテクニックの必要性が高まっている。
本稿では,双方向エンコーダ表現(BERT)モデルを利用した新しいアーキテクチャであるSecurityBERTを,IoTネットワークにおけるサイバー脅威検出に適用する。
SecurityBERTのトレーニング中に、プライバシー保護固定長符号化(PPFLE)と呼ばれる新しいプライバシ保護符号化手法を組み込んだ。
我々は、PPFLEとByte-level Byte-Pair Encoder (BBPE) Tokenizerを組み合わせることで、ネットワークトラフィックデータを構造化形式で効果的に表現した。
我々の研究は、SecurityBERTがサイバー脅威検出において、畳み込みニューラルネットワーク(CNN)やリカレントニューラルネットワーク(RNN)など、従来の機械学習(ML)およびディープラーニング(DL)手法より優れていることを示した。
Edge-IIoTsetのサイバーセキュリティデータセットを使用することで、SecurityBERTは、14の異なる攻撃タイプを識別する上で、98.2%の全体的な精度を達成し、GAN-TransformerベースのアーキテクチャやCNN-LSTMモデルといったハイブリッドソリューションによって設定された過去の記録を上回りました。
平均CPUで0.15秒未満の推論時間と16.7MBのコンパクトモデルサイズを持つSecurityBERTは、現実のトラフィック分析に理想的であり、リソースに制約のあるIoTデバイスへのデプロイメントに適した選択である。
関連論文リスト
- Give and Take: Federated Transfer Learning for Industrial IoT Network
Intrusion Detection [3.7498611358320733]
IIoTネットワーク侵入検出のためのフェデレートトランスファーラーニング(FTL)手法を提案する。
本研究の一環として,FTLの実行の中心となる組み合わせ型ニューラルネットワークを提案する。
結果は、IIoTクライアントとサーバの両方のイテレーション間のFTLセットアップのパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-10-11T10:11:54Z) - Semantic Communication Enabling Robust Edge Intelligence for
Time-Critical IoT Applications [87.05763097471487]
本稿では、時間クリティカルなIoTアプリケーションのためのセマンティック通信を用いて、堅牢なエッジインテリジェンスを設計することを目的とする。
本稿では,画像DCT係数が推定精度に与える影響を解析し,オフロードのためのチャネル非依存の有効性符号化を提案する。
論文 参考訳(メタデータ) (2022-11-24T20:13:17Z) - Intrusion Detection in Internet of Things using Convolutional Neural
Networks [4.718295605140562]
CNNを用いたIoTデバイスへの侵入攻撃に対する新しい解決策を提案する。
データは畳み込み操作として符号化され、時間とともにセンサーデータからパターンをキャプチャする。
実験の結果, LSTMを用いたベースラインと比較して, 真正率, 偽正率ともに有意な改善が認められた。
論文 参考訳(メタデータ) (2022-11-18T07:27:07Z) - Zero Day Threat Detection Using Graph and Flow Based Security Telemetry [3.3029515721630855]
Zero Day Threats (ZDT) は、悪意あるアクターが情報技術(IT)ネットワークやインフラを攻撃・利用するための新しい手法である。
本稿では,ゼロデイ脅威検出に対するディープラーニングに基づくアプローチを導入し,リアルタイムに脅威を一般化し,スケールし,効果的に識別する。
論文 参考訳(メタデータ) (2022-05-04T19:30:48Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Semi-supervised Variational Temporal Convolutional Network for IoT
Communication Multi-anomaly Detection [3.3659034873495632]
モノのインターネット(IoT)デバイスは、巨大な通信ネットワークを構築するために構築されます。
これらのデバイスは実際には安全ではないため、通信ネットワークが攻撃者によって露出されることを意味する。
本稿では,IoT 複数異常検出のための半監視ネットワーク SS-VTCN を提案する。
論文 参考訳(メタデータ) (2021-04-05T08:51:24Z) - Robust Attack Detection Approach for IIoT Using Ensemble Classifier [0.0]
目的は、IIoTネットワークの信頼性を高めるために、2相異常検出モデルを開発することである。
提案されたモデルは、WUSTL_IIOT-2018、N_Ba IoT、Bot_IoTなどの標準的なIoT攻撃オフレーヤでテストされている。
また,提案モデルが従来の手法より優れており,IIoTネットワークの信頼性が向上していることを示す。
論文 参考訳(メタデータ) (2021-01-30T07:21:44Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳(メタデータ) (2020-10-22T12:32:29Z) - Developing RNN-T Models Surpassing High-Performance Hybrid Models with
Customization Capability [46.73349163361723]
リカレントニューラルネットワークトランスデューサ(Recurrent Neural Network Transducer, RNN-T)は、音声認識のための一般的なハイブリッドモデルを置き換える、有望なエンドツーエンド(E2E)モデルである。
トレーニング中のGPUメモリ消費を低減したRNN-Tモデルの最近の開発について述べる。
本稿では,RNN-Tモデルを新しいドメインにカスタマイズする方法について検討する。
論文 参考訳(メタデータ) (2020-07-30T02:35:20Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳(メタデータ) (2020-01-20T16:17:36Z) - Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing [71.86955275376604]
本稿では,階層型エッジコンピューティング(HEC)システムに対する適応型異常検出手法を提案する。
本研究では,入力データから抽出した文脈情報に基づいてモデルを選択する適応的手法を設計し,異常検出を行う。
提案手法を実際のIoTデータセットを用いて評価し,検出タスクをクラウドにオフロードするのとほぼ同じ精度を維持しながら,検出遅延を84%削減できることを実証した。
論文 参考訳(メタデータ) (2020-01-10T05:29:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。