論文の概要: FlowTransformer: A Transformer Framework for Flow-based Network
Intrusion Detection Systems
- arxiv url: http://arxiv.org/abs/2304.14746v1
- Date: Fri, 28 Apr 2023 10:40:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 14:37:56.524367
- Title: FlowTransformer: A Transformer Framework for Flow-based Network
Intrusion Detection Systems
- Title（参考訳）: Flow Transformer: フローベースネットワーク侵入検知システムのためのトランスフォーマフレームワーク
- Authors: Liam Daly Manocchio, Siamak Layeghy, Wai Weng Lo, Gayan K.
Kulatilleke, Mohanad Sarhan, Marius Portmann
- Abstract要約: FlowTransformerは、トランスフォーマーベースのNIDSを実装するための新しいアプローチである。
入力エンコーディング、トランスフォーマー、分類ヘッド、フローベースのネットワークデータセット間での評価など、トランスフォーマーコンポーネントの直接的な置換を可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents the FlowTransformer framework, a novel approach for
implementing transformer-based Network Intrusion Detection Systems (NIDSs).
FlowTransformer leverages the strengths of transformer models in identifying
the long-term behaviour and characteristics of networks, which are often
overlooked by most existing NIDSs. By capturing these complex patterns in
network traffic, FlowTransformer offers a flexible and efficient tool for
researchers and practitioners in the cybersecurity community who are seeking to
implement NIDSs using transformer-based models. FlowTransformer allows the
direct substitution of various transformer components, including the input
encoding, transformer, classification head, and the evaluation of these across
any flow-based network dataset. To demonstrate the effectiveness and efficiency
of the FlowTransformer framework, we utilise it to provide an extensive
evaluation of various common transformer architectures, such as GPT 2.0 and
BERT, on three commonly used public NIDS benchmark datasets. We provide results
for accuracy, model size and speed. A key finding of our evaluation is that the
choice of classification head has the most significant impact on the model
performance. Surprisingly, Global Average Pooling, which is commonly used in
text classification, performs very poorly in the context of NIDS. In addition,
we show that model size can be reduced by over 50\%, and inference and training
times improved, with no loss of accuracy, by making specific choices of input
encoding and classification head instead of other commonly used alternatives.
- Abstract（参考訳）: 本稿では,トランスフォーマを用いたネットワーク侵入検知システム(NIDS)の実装手法であるFlowTransformerフレームワークを提案する。
flowtransformerはトランスフォーマーモデルの強みを利用してネットワークの長期的な振る舞いや特性を識別する。
ネットワークトラフィックの複雑なパターンを捉えることで、flowtransformerは、transformerベースのモデルを使ってnidsを実装しようとしているサイバーセキュリティコミュニティの研究者や実践者のために、柔軟で効率的なツールを提供する。
flowtransformerは、入力エンコーディング、トランス、分類ヘッド、フローベースのネットワークデータセットをまたいだそれらの評価など、様々なトランスフォーマーコンポーネントを直接置換することができる。
FlowTransformerフレームワークの有効性と効率を実証するために、GPT 2.0やBERTといった一般的なトランスフォーマーアーキテクチャを、一般的に使用されている3つのNIDSベンチマークデータセット上で広範囲に評価する。
精度、モデルサイズ、速度に関する結果を提供する。
我々の評価の重要な発見は、分類ヘッドの選択がモデル性能に最も大きな影響を与えることである。
意外なことに、テキスト分類で一般的に使用されるGlobal Average Poolingは、NIDSの文脈では非常に貧弱である。
さらに, モデルサイズを50%以上削減でき, 推論時間やトレーニング時間は向上し, 精度を損なうことなく, 入力エンコーディングや分類ヘッドの特定の選択を他の一般的な代替手段に代えて行うことができた。
関連論文リスト
- Efficient Point Transformer with Dynamic Token Aggregating for Point Cloud Processing [19.73918716354272]
ポイントクラウド表現と処理のための動的トークン集約(DTA-Former)を用いた効率的なポイントトランスフォーマーを提案する。
ModelNet40、ShapeNet、航空機搭載MultiSpectral LiDAR(MS-LiDAR)データセット上の前点変換器よりも最大30$times$高速でSOTAパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-05-23T20:50:50Z) - Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections [0.0]
本稿では,トランスアーキテクチャの2つの重要な拡張を紹介する。
Evaluator Unit (EAU) と Gated Residual Connections (GRC) はこれらの制限に対処するために設計されている。
自然言語処理におけるこれらの拡張性能を,いくつかのベンチマークで評価した。
論文 参考訳（メタデータ） (2024-05-22T07:33:24Z) - Transformer Neural Autoregressive Flows [48.68932811531102]
正規化フロー(NF)を用いて密度推定を行う。
我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
論文 参考訳（メタデータ） (2024-01-03T17:51:16Z) - RegFormer: An Efficient Projection-Aware Transformer Network for
Large-Scale Point Cloud Registration [73.69415797389195]
本稿では,大規模クラウドアライメントのためのエンドツーエンドトランス (RegFormer) ネットワークを提案する。
具体的には、プロジェクション対応階層変換器を提案し、長距離依存を捕捉し、外乱をフィルタする。
我々の変圧器は線形複雑であり、大規模シーンでも高い効率が保証される。
論文 参考訳（メタデータ） (2023-03-22T08:47:37Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Transformers for End-to-End InfoSec Tasks: A Feasibility Study [6.847381178288385]
私たちは2つの異なるInfoSecデータフォーマット、特にURLとPEファイルに対してトランスフォーマーモデルを実装します。
URLトランスフォーマーモデルは、高いパフォーマンスレベルに達するためには、異なるトレーニングアプローチが必要です。
提案手法は,PEファイルのベンチマークデータセット上で,確立されたマルウェア検出モデルに相容れない性能を示す。
論文 参考訳（メタデータ） (2022-12-05T23:50:46Z) - 3DCTN: 3D Convolution-Transformer Network for Point Cloud Classification [23.0009969537045]
本稿では,ポイントクラウド分類のためのTransformerとの畳み込みを取り入れた,新しい階層型フレームワークを提案する。
本手法は精度と効率の両面で最先端の分類性能を実現する。
論文 参考訳（メタデータ） (2022-03-02T02:42:14Z) - Full Transformer Framework for Robust Point Cloud Registration with Deep
Information Interaction [9.431484068349903]
最近のTransformerベースの手法は、ポイントクラウドの登録において高度なパフォーマンスを実現している。
近年のCNNは、現地の受容によるグローバルな関係のモデル化に失敗している。
トランスフォーマーの幅の浅いアーキテクチャと位置エンコーディングの欠如は、不明瞭な特徴抽出につながる。
論文 参考訳（メタデータ） (2021-12-17T08:40:52Z) - The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。
我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
論文 参考訳（メタデータ） (2021-10-25T17:01:29Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳（メタデータ） (2021-03-22T18:00:13Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。