論文の概要: Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly
Detection
- arxiv url: http://arxiv.org/abs/2402.00448v1
- Date: Thu, 1 Feb 2024 09:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 16:03:52.335060
- Title: Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly
Detection
- Title（参考訳）: 教師なし異常検出のための二段階知識蒸留ネットワーク
- Authors: Liyi Yao, Shaobing Gao
- Abstract要約: 学生教師ネットワーク(S-T)は教師なしの異常検出に好まれる。
しかし、バニラS-Tネットワークは安定ではない。
本稿では,新しい知識蒸留アーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 2.06682776181122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the data imbalance and the diversity of defects, student-teacher
networks (S-T) are favored in unsupervised anomaly detection, which explores
the discrepancy in feature representation derived from the knowledge
distillation process to recognize anomalies. However, vanilla S-T network is
not stable. Employing identical structures to construct the S-T network may
weaken the representative discrepancy on anomalies. But using different
structures can increase the likelihood of divergent performance on normal data.
To address this problem, we propose a novel dual-student knowledge distillation
(DSKD) architecture. Different from other S-T networks, we use two student
networks a single pre-trained teacher network, where the students have the same
scale but inverted structures. This framework can enhance the distillation
effect to improve the consistency in recognition of normal data, and
simultaneously introduce diversity for anomaly representation. To explore
high-dimensional semantic information to capture anomaly clues, we employ two
strategies. First, a pyramid matching mode is used to perform knowledge
distillation on multi-scale feature maps in the intermediate layers of
networks. Second, an interaction is facilitated between the two student
networks through a deep feature embedding module, which is inspired by
real-world group discussions. In terms of classification, we obtain pixel-wise
anomaly segmentation maps by measuring the discrepancy between the output
feature maps of the teacher and student networks, from which an anomaly score
is computed for sample-wise determination. We evaluate DSKD on three benchmark
datasets and probe the effects of internal modules through ablation
experiments. The results demonstrate that DSKD can achieve exceptional
performance on small models like ResNet18 and effectively improve vanilla S-T
networks.
- Abstract（参考訳）: データ不均衡と欠陥の多様性のため、教師なしの異常検出にはS-Tが好まれており、知識蒸留プロセスから派生した特徴表現の相違を調べて異常を認識する。
しかし、バニラS-Tネットワークは安定していない。
S-Tネットワークを構築するために同じ構造を用いると、異常に対する代表的な差が弱まる可能性がある。
しかし、異なる構造を用いることで、通常のデータ上での発散性能が向上する可能性がある。
この問題に対処するため、我々は新しい二段階知識蒸留(DSKD)アーキテクチャを提案する。
他のS-Tネットワークとは違って、2つの学生ネットワークを1つの事前訓練された教師ネットワークで使用します。
このフレームワークは蒸留効果を高め、正常データ認識の一貫性を改善し、同時に異常表現の多様性も導入できる。
異常な手がかりを捉えるための高次元意味情報の探索には2つの戦略を用いる。
まず,ネットワークの中間層におけるマルチスケール特徴写像の知識蒸留を行うために,ピラミッドマッチングモードを用いる。
第2に,実際のグループディスカッションに触発された,深い機能埋め込みモジュールを通じて,2つの学生ネットワーク間のインタラクションが促進される。
分類の面では,教師の出力特徴マップと学生ネットワークの出力特徴マップとの差を計測し,サンプルワイズ判定のために異常スコアを算出し,画素毎の異常分割マップを得る。
dskdを3つのベンチマークデータセットで評価し,内部モジュールの効果をアブレーション実験により検証した。
その結果、DSKDはResNet18のような小型モデルでは例外的な性能を発揮し、バニラS-Tネットワークを効果的に改善できることを示した。
関連論文リスト
- Memoryless Multimodal Anomaly Detection via Student-Teacher Network and Signed Distance Learning [8.610387986933741]
マルチモーダル異常検出のための新しいメモリレスMDSSを提案する。
ライトウェイトな学生-教師ネットワークと、RGBイメージと3Dポイントクラウドから学ぶための署名付き距離関数を採用している。
実験の結果,MDSSはSOTAメモリバンク方式のShape-guidedと同等だが安定であることがわかった。
論文 参考訳（メタデータ） (2024-09-09T07:18:09Z) - Dual-Modeling Decouple Distillation for Unsupervised Anomaly Detection [15.89869857998053]
教師ネットワークへの学生ネットワークの過度な一般化は、異常の表現能力に無視できない違いをもたらす可能性がある。
既存の手法では, 生徒と教師を構造的観点から区別することで, オーバージェネリゼーションの可能性に対処する。
本稿では,非教師付き異常検出のためのDual-Modeling Deouple Distillation (DMDD)を提案する。
論文 参考訳（メタデータ） (2024-08-07T16:39:16Z) - Attend, Distill, Detect: Attention-aware Entropy Distillation for Anomaly Detection [4.0679780034913335]
知識蒸留に基づくマルチクラスの異常検出では、低レイテンシで十分なパフォーマンスが期待できるが、1クラスのバージョンに比べて大幅に低下する。
教師と学生のネットワーク間の蒸留プロセスを改善するDCAM(Distributed Convolutional Attention Module)を提案する。
論文 参考訳（メタデータ） (2024-05-10T13:25:39Z) - Large Language Model Guided Knowledge Distillation for Time Series
Anomaly Detection [12.585365177675607]
AnomalyLLMは15のデータセットで最先端のパフォーマンスを示し、UCRデータセットの少なくとも14.5%の精度向上を実現している。
論文 参考訳（メタデータ） (2024-01-26T09:51:07Z) - ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly
Detection [75.68023968735523]
知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。
非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。
我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。
ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
論文 参考訳（メタデータ） (2022-10-19T12:04:47Z) - Asymmetric Student-Teacher Networks for Industrial Anomaly Detection [22.641661538154054]
本研究は,学生・教員による異常検出手法の既知の問題点を明らかにする。
2つのニューラルネットワークがトレーニングされ、欠陥のないトレーニング例で同じ出力を生成する。
本手法は, MVTec AD と MVTec 3D-AD の2つの現在最も関連性の高い欠陥検出データセットに対して, 最先端の結果を生成する。
論文 参考訳（メタデータ） (2022-10-14T13:56:50Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳（メタデータ） (2020-06-29T17:59:26Z) - MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT
Prostate Segmentation via Online Sampling [66.01558025094333]
本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。
マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。
本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
論文 参考訳（メタデータ） (2020-05-15T10:37:02Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。