論文の概要: Parameters efficient language model with latent cross-attention for IoT intrusion detection

• arxiv url: http://arxiv.org/abs/2610.30222v2
• Date: Wed, 28 Oct 2026 01:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.286485
• Title: Parameters efficient language model with latent cross-attention for IoT intrusion detection
• Title（参考訳）: IoT侵入検出のための潜在的クロスアテンションを持つパラメータ効率的な言語モデル
• Abstract要約: 言語モデルは侵入検出の可能性が強いが、その高いメモリと計算要求により、リソースに制約のあるIoT環境へのデプロイが困難になる。 最小限のTransformerコアで処理する前に、入力を小さな潜在空間に圧縮するTransformerベースのアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.9332987715848714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models have shown strong potential for intrusion detection, but their high memory and computational demands make them difficult to deploy in resource-constrained IoT environments. In this work, we propose a compact Transformer-based architecture that compresses the input into a small latent space before processing it with a minimal Transformer core. We analyze nine compression configurations, compare parameter sharing with layer stacking, and evaluate our approach against SecurityBERT on two IoT intrusion detection datasets, Edge-IIoTset and CICIoT2023. With only 306k non-embedding parameters and 1.6M parameters in total (6MB), our model is about 7x smaller than SecurityBERT (11.2M parameters, 45MB). With the same privacy-preserving encoding, it outperforms SecurityBERT by about 2 points of macro F1-score on Edge-IIoTset and is within 0.7 points on CICIoT2023. It is also about 89x faster on a simulated edge device. We further show that a single Transformer layer is sufficient, and that parameter sharing matches layer stacking with up to 66% fewer parameters. These findings show that lightweight Transformer-based architectures can provide a practical and accurate solution for intrusion detection in resource-constrained IoT settings
• Abstract（参考訳）: 言語モデルは侵入検知の強い可能性を示しているが、その高いメモリと計算要求は、リソースに制約のあるIoT環境へのデプロイを困難にしている。 本研究では,最小限のTransformerコアで処理する前に,入力を小さな潜在空間に圧縮するTransformerベースのアーキテクチャを提案する。 我々は9つの圧縮構成を分析し、パラメータ共有と層積み重ねを比較し、Edge-IIoTsetとCICIoT2023という2つのIoT侵入検出データセット上でSecurityBERTに対する我々のアプローチを評価する。 306kの非埋め込みパラメータと1.6Mのパラメータだけで(6MB)、われわれのモデルはSecurityBERT (11.2Mパラメータ、45MB) の約7倍小さい。 同じプライバシ保存エンコーディングで、Edge-IIoTsetではSecurityBERTを約2ポイントのマクロF1スコアで上回り、CICIoT2023では0.7ポイント以内である。 また、シミュレーションエッジデバイスの約89倍高速である。 さらに、単一のトランスフォーマー層が十分であり、パラメータ共有が最大66%のパラメータで積み重ねられた層と一致することを示す。 これらの結果は、ライトウェイトトランスフォーマーベースのアーキテクチャが、リソース制約されたIoT設定における侵入検知の実用的で正確なソリューションを提供することを示している。

関連論文リスト

• Lightweight Transformer Models for On-Device Fault Detection: A Benchmark Study on Resource-Constrained Deployment [0.0]
  オンデバイス障害検出により、クラウド依存のないリアルタイム診断が可能になるが、リソース制約のあるハードウェアに機械学習モデルをデプロイするには、正確性、レイテンシ、モデルサイズ間の慎重にトレードオフが必要である。 本稿では,従来のML手法と,バイナリ故障検出のための軽量トランスフォーマーアーキテクチャを比較したベンチマークを提案する。 その結果, センサデータから, 軽量トランスフォーマーは従来のMLと87.8%のF1で一致したが, モデルサイズは100倍, レイテンシは9000倍であった。
  論文  参考訳（メタデータ） (2026-06-23T05:54:33Z)
• Amped: Adaptive Multi-stage Non-edge Pruning for Edge Detection [53.59823657644554]
  エッジ検出のための適応型多段非エッジプルーニングフレームワーク(Amped)を提案する。 Ampedは高信頼の非エッジトークンを識別し、可能な限り早く削除し、計算を大幅に削減する。 既存のエッジ検出ネットワークの構造的複雑さを軽減するため,Streamline Edge Detector(SED)と呼ばれる,シンプルながら高性能なTransformerベースのモデルを導入する。
  論文  参考訳（メタデータ） (2026-03-29T12:26:35Z)
• Lightweight Transformer Architectures for Edge Devices in Real-Time Applications [0.0]
  本調査では,エッジデプロイメント用に設計された軽量トランスフォーマーアーキテクチャについて検討する。 我々は、MobileBERT、TinyBERT、DistilBERT、EfficientFormer、EdgeFormer、MobileViTなど、注目すべき軽量版を体系的にレビューした。 実験により, モデルサイズを4～10倍, 推論遅延を3～9倍削減し, モデル精度を75～96%向上できることを確認した。
  論文  参考訳（メタデータ） (2026-01-05T01:04:25Z)
• EdgeFlex-Transformer: Transformer Inference for Edge Devices [2.1130318406254074]
  視覚変換器(ViT)の圧縮・高速化を目的とした軽量で効果的な多段最適化パイプラインを提案する。 本手法は,アクティベーションプロファイリング,メモリ対応プルーニング,選択的混合精度実行,アクティベーション対応量子化(AWQ)を組み合わせることで,コストのかかるリトレーニングやタスク固有の微調整を必要とせずに,モデルのメモリフットプリントを削減する。 CIFAR-10の実験では、完全に最適化されたモデルはピークメモリ使用量の76%削減と6倍のレイテンシを実現し、元のFP32ベースラインと比較して精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-12-17T21:45:12Z)
• PRISM: Distributed Inference for Foundation Models at Edge [73.54372283220444]
  PRISMは、エッジデバイス上での分散トランスフォーマー推論のための通信効率と計算アウェア戦略である。 ViT,BERT,GPT-2のPRISMを多種多様なデータセットで評価した。
  論文  参考訳（メタデータ） (2025-07-16T11:25:03Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Shallow Cross-Encoders for Low-Latency Retrieval [69.06104373460597]
  BERTやT5のような大きなトランスフォーマーモデルに基づくクロスエンコーダは計算コストが高く、非常に小さな遅延ウィンドウ内で少数の文書しかスコアできない。 より弱い浅層変圧器モデル(すなわち、層数が限られている変圧器)は、これらの実用的な低レイテンシ設定に制約された場合、実際にフルスケールモデルよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-03-29T15:07:21Z)
• ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
  本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。 ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。 エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。 より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
  論文  参考訳（メタデータ） (2024-03-22T07:32:21Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。