論文の概要: Beyond Model Scaling: Rethinking Sequence Construction for Transformer-based Network Intrusion Detection

• arxiv url: http://arxiv.org/abs/2610.17725v1
• Date: Tue, 13 Oct 2026 04:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:33:38.799442
• Title: Beyond Model Scaling: Rethinking Sequence Construction for Transformer-based Network Intrusion Detection
• Title（参考訳）: モデルスケーリングを超えて:トランスフォーマーに基づくネットワーク侵入検出のためのシーケンス構築を再考する
• Abstract要約: フローベースの侵入検知では、タイムスタンプベースのウィンドウは、無関係な通信をマージしながら、しばしば攻撃活動に関連するフラグメントを断片化する。 変換器をベースとしたNIDSを4つの設計次元に分解する統合パイプライン抽象化を提案する。 実験により、テンポラリゼーションがトランスフォーマー性能を支配する主要な要因であることが示されている。
• 参考スコア（独自算出の注目度）: 10.825309589211694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based network intrusion detection systems (NIDS) have shown strong potential for detecting multi-stage cyberattacks, yet most methods construct input sequences using fixed temporalization schemes rather than treating sequence construction as a systems design decision. In flow-based intrusion detection, timestamp-based windowing often fragments related attack activities while merging unrelated communications, reducing the behavioral context available to transformers. We present a unified pipeline abstraction that decomposes transformer-based NIDS into four design dimensions (traffic representation, temporalization, transformer backbone, and prediction aggregation) and propose session-coherent temporalization, which constructs sequences from communication sessions instead of fixed time windows. Experiments on three complementary intrusion detection datasets show that temporalization is the dominant factor governing transformer performance: session-coherent temporalization more than doubles Macro-F1 over timestamp-based windowing, enabling lightweight transformers to achieve up to 0.95 Macro-F1 at substantially higher inference throughput than pretrained models. We further vary the transformer size from 0.65M to 3.38M parameters and find that larger transformer models provide no measurable accuracy improvement despite substantially higher computational cost, while zero-shot cross-dataset evaluation shows only modest gains under domain shift. These results indicate that preserving communication-session semantics, rather than scaling transformer capacity, is the key to accurate and efficient transformer-based intrusion detection.
• Abstract（参考訳）: トランスフォーマーベースのネットワーク侵入検知システム(NIDS)は,多段階のサイバー攻撃を検出する強力な可能性を示しているが,ほとんどの手法では,シーケンス構造をシステム設計決定として扱うのではなく,固定時間化方式を用いて入力シーケンスを構築する。 フローベースの侵入検知では、タイムスタンプベースのウィンドウは、無関係な通信をマージしながら攻撃活動を断片化することが多く、トランスフォーマーで利用可能な振る舞いコンテキストを減少させる。 本稿では,トランスフォーマーに基づくNIDSを4つの設計次元(トレーフ表現,テンポラリゼーション,トランスフォーマーバックボーン,予測アグリゲーション)に分解し,固定時間ウィンドウの代わりに通信セッションからシーケンスを構成するセッションコヒーレント時間化を提案する。 セッションコヒーレントな時間化は、タイムスタンプベースのウィンドウリングよりもマクロF1を2倍にし、軽量トランスフォーマーは、事前訓練されたモデルよりもはるかに高い推論スループットで最大0.95マクロF1を達成することができる。 我々はさらに変圧器サイズを0.65Mから3.38Mパラメータに変化させ、大きな変圧器モデルでは計算コストが大幅に高いにもかかわらず測定可能な精度の改善が得られないことを見出した。 これらの結果から,トランスフォーマーの容量を拡大するのではなく,コミュニケーションセッションのセマンティクスを保存することが,トランスフォーマーによる侵入検出の正確かつ効率的な鍵であることが示唆された。

関連論文リスト

• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• A temporal scale transformer framework for precise remaining useful life prediction in fuel cells [10.899223392837936]
  TS Transformer (Temporal Scale Transformer) は、逆変換器(i Transformer)の拡張版である。 各タイムステップを入力トークンとして扱う従来のトランスフォーマーとは異なり、TSTransformerは異なる長さのシーケンスを異なる段階のトークンにマッピングし、シーケンス間モデリングを行う。 局所的な特徴抽出を改善し、時間スケールの特徴を捉え、トークン数と計算コストを削減する。
  論文  参考訳（メタデータ） (2025-04-08T23:42:54Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• inTformer: A Time-Embedded Attention-Based Transformer for Crash Likelihood Prediction at Intersections Using Connected Vehicle Data [1.03590082373586]
  InTersection-Transformer(inTformer)を提案する。これは、リアルタイムに交差点衝突確率を効果的に予測できる時間組込みアテンションベースのトランスフォーマーモデルである。 提案手法は,Signal Analytics Platformから抽出したコネクテッドカーデータを用いて評価した。 InTformerの最適モデルである"within-intersection"と"approach"ゾーンは、それぞれ73%、70%の感度を実現した。
  論文  参考訳（メタデータ） (2023-07-07T22:00:31Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。