論文の概要: DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN
- arxiv url: http://arxiv.org/abs/2603.03486v1
- Date: Tue, 03 Mar 2026 20:02:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.074784
- Title: DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN
- Title（参考訳）: DKD-KAN : MLPとKANに基づく軽量知識蒸留KAN侵入検出フレームワーク
- Authors: Mohammad Alikhani,
- Abstract要約: Kolmogorov-Arnold Network (KAN) を用いて, データの複雑な特徴を捉える軽量な侵入検出フレームワークを提案する。
テストベッド上で実行される攻撃を検出するために、まず高容量のkanネットワークを訓練する。
このモデルは教師として機能し、DKDを介してより小さな多層パーセプトロン(MLP)の学生モデルを導く。
得られたDKD-MLPモデルは、WADIおよびSWaTデータセットのパラメータが2,522と1,622しかない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cyber-security systems often operate in resource-constrained environments, such as edge environments and real-time monitoring systems, where model size and inference time are crucial. A light-weight intrusion detection framework is proposed that utilizes the Kolmogorov-Arnold Network (KAN) to capture complex features in the data, with the efficiency of decoupled knowledge distillation (DKD) training approach. A high-capacity KAN network is first trained to detect attacks performed on the test bed. This model then serves as a teacher to guide a much smaller multilayer perceptron (MLP) student model via DKD. The resulting DKD-MLP model contains only 2,522 and 1,622 parameters for WADI and SWaT datasets, which are significantly smaller than the number of parameters of the KAN teacher model. This is highly appropriate for deployment in resource-constrained devices with limited computational resources. Despite its low size, the student model maintains a high performance. Our approach demonstrate the practicality of using KAN as a knowledge-rich teacher to train much smaller student models, without considerable drop in accuracy in intrusion detection frameworks. We have validated our approach on two publicly available datasets. We report F1-score improvements of 4.18% on WADI and 3.07% on SWaT when using the DKD-MLP model, compared to the bare student model. The implementation of this paper is available on our GitHub repository.
- Abstract（参考訳）: サイバーセキュリティシステムは、エッジ環境やリアルタイム監視システムなど、リソースに制約のある環境で運用されることが多い。
コールモゴロフ・アルノルドネットワーク(KAN)を用いてデータ中の複雑な特徴を捉える軽量な侵入検知フレームワークを提案する。
テストベッド上で実行される攻撃を検出するために、まず高容量のkanネットワークを訓練する。
このモデルは教師として機能し、DKDを介してより小さな多層パーセプトロン(MLP)の学生モデルを導く。
得られたDKD-MLPモデルは、WADIおよびSWaTデータセットのパラメータが2,522と1,622しかない。
これは、限られた計算資源を持つリソース制限されたデバイスへの展開に非常に適している。
規模が小さいにもかかわらず、学生モデルは高い性能を維持している。
提案手法は, 侵入検知フレームワークの精度を著しく低下させることなく, より小規模の学生モデルを学習するための知識豊富な教師として, カンを活用できることを実証するものである。
このアプローチを2つの公開データセットで検証しました。
DKD-MLPモデルを用いた場合, WADIは4.18%, SWaTは3.07%改善した。
本論文の実装はGitHubリポジトリで公開しています。
関連論文リスト
- Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳（メタデータ） (2024-09-19T07:05:26Z) - DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。
DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-02-06T11:10:35Z) - Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments [4.541309099803903]
本研究では,超微調整大言語モデル(LLM)の知識蒸留(KD)手法を提案する。
リソース制約のあるデバイスにこれらのモデルをデプロイするという課題を特にターゲットとしています。
論文 参考訳（メタデータ） (2023-12-26T01:24:25Z) - Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。
既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。
相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
論文 参考訳（メタデータ） (2023-11-23T11:34:48Z) - Towards a robust and reliable deep learning approach for detection of
compact binary mergers in gravitational wave data [0.0]
我々は、段階的に深層学習モデルを開発し、その堅牢性と信頼性の向上に取り組みます。
我々はGAN(Generative Adversarial Network)を含む新しいフレームワークでモデルを再訓練する。
絶対ロバスト性は事実上達成できないが、そのような訓練によって得られるいくつかの根本的な改善を実証する。
論文 参考訳（メタデータ） (2023-06-20T18:00:05Z) - MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。
より小さな言語モデルにLPMを蒸留するKD手法を提案する。
提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
論文 参考訳（メタデータ） (2023-06-14T14:44:03Z) - Knowledge Distillation with Representative Teacher Keys Based on
Attention Mechanism for Image Classification Model Compression [1.503974529275767]
知識蒸留(KD)はモデルパラメータを減らすためのモデル圧縮の効果的な方法の1つとして認識されている。
注意機構にヒントを得て,代表教師キー(RTK)と呼ばれる新しいKD手法を提案する。
提案するRTKは,最先端の注意に基づくKD手法の分類精度を効果的に向上させることができる。
論文 参考訳（メタデータ） (2022-06-26T05:08:50Z) - Training strategy for a lightweight countermeasure model for automatic
speaker verification [6.174721516017139]
本稿では,ASVのための軽量CMモデルのトレーニング戦略を提案する。
ASVspoof 2021 Logical Accessタスクのevalua-tionフェーズでは、軽量ResNetSEモデルがmin t-DCF 0.2695とEER 3.54%に達する。
論文 参考訳（メタデータ） (2022-03-31T13:52:43Z) - How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。
我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。
特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
論文 参考訳（メタデータ） (2021-10-22T21:30:53Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。