論文の概要: Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection

• arxiv url: http://arxiv.org/abs/2401.15123v1
• Date: Fri, 26 Jan 2024 09:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 19:51:21.592653
• Title: Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection
• Title（参考訳）: 時系列異常検出のための大規模言語モデル誘導知識蒸留
• Authors: Chen Liu, Shibo He, Qihang Zhou, Shizhong Li, Wenchao Meng
• Abstract要約: AnomalyLLMは15のデータセットで最先端のパフォーマンスを示し、UCRデータセットの少なくとも14.5%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 12.585365177675607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised methods have gained prominence in time series anomaly detection due to the scarcity of available annotations. Nevertheless, they typically demand extensive training data to acquire a generalizable representation map, which conflicts with scenarios of a few available samples, thereby limiting their performance. To overcome the limitation, we propose \textbf{AnomalyLLM}, a knowledge distillation-based time series anomaly detection approach where the student network is trained to mimic the features of the large language model (LLM)-based teacher network that is pretrained on large-scale datasets. During the testing phase, anomalies are detected when the discrepancy between the features of the teacher and student networks is large. To circumvent the student network from learning the teacher network's feature of anomalous samples, we devise two key strategies. 1) Prototypical signals are incorporated into the student network to consolidate the normal feature extraction. 2) We use synthetic anomalies to enlarge the representation gap between the two networks. AnomalyLLM demonstrates state-of-the-art performance on 15 datasets, improving accuracy by at least 14.5\% in the UCR dataset.
• Abstract（参考訳）: 自己教師付きメソッドは、利用可能なアノテーションの不足により、時系列異常検出で注目を集めている。 それにもかかわらず、彼らは一般的に、利用可能なサンプルのシナリオと矛盾する一般化可能な表現マップを取得するために、広範なトレーニングデータを要求する。 この制限を克服するために,大規模データセットで事前学習した大規模言語モデル(LLM)ベースの教師ネットワークの特徴を模倣するために,学生ネットワークを訓練した知識蒸留に基づく時系列異常検出手法である‘textbf{AnomalyLLM} を提案する。 テスト段階では、教師と学生のネットワークの特徴の相違が大きい場合に異常を検出する。 教師ネットワークの異常サンプルの特徴を学習することを避けるために,2つの重要な戦略を考案した。 1) 学生ネットワークにプロトタイプ信号が組み込まれ, 通常の特徴抽出を集約する。 2) 2つのネットワーク間の表現ギャップを拡大するために合成異常を用いる。 AnomalyLLMは15のデータセットで最先端のパフォーマンスを示し、UCRデータセットの少なくとも14.5\%の精度を向上させる。

関連論文リスト

• Structural Teacher-Student Normality Learning for Multi-Class Anomaly Detection and Localization [17.543208086457234]
  SNL(Structure Teacher-Student Normality Learning)と呼ばれる新しいアプローチを導入する。 提案手法をMVTecADとVisAの2つの異常検出データセットで評価した。 この方法では, MVTecADが3.9%, MVTecADが1.5%, VisAが1.2%, 2.5%と, 最先端の蒸留アルゴリズムをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-02-27T00:02:24Z)
• Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection [2.06682776181122]
  学生教師ネットワーク(S-T)は教師なしの異常検出に好まれる。 しかし、バニラS-Tネットワークは安定ではない。 本稿では,新しい知識蒸留アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-01T09:32:39Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Prior Knowledge Guided Network for Video Anomaly Detection [1.389970629097429]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を検出する。 VADタスクのための事前知識誘導ネットワーク(PKG-Net)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T15:57:07Z)
• Hyperbolic Self-supervised Contrastive Learning Based Network Anomaly Detection [0.0]
  属性ネットワーク上の異常検出は近年,多くの研究分野において注目されている。 双曲型自己教師付きコントラスト学習を用いた効率的な異常検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-12T07:08:34Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection [54.76993389109327]
  教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。 本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。 AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
  論文  参考訳（メタデータ） (2022-01-03T03:40:21Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• CutPaste: Self-Supervised Learning for Anomaly Detection and Localization [59.719925639875036]
  通常のトレーニングデータのみを用いて異常検知器を構築するためのフレームワークを提案する。 まず、自己教師付き深層表現を学習し、学習した表現の上に生成的1クラス分類器を構築する。 MVTec異常検出データセットに関する実証研究は,提案アルゴリズムが実世界の様々な欠陥を検出可能であることを実証している。
  論文  参考訳（メタデータ） (2021-04-08T19:04:55Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。