論文の概要: Attend, Distill, Detect: Attention-aware Entropy Distillation for Anomaly Detection

• arxiv url: http://arxiv.org/abs/2405.06467v1
• Date: Fri, 10 May 2024 13:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 15:48:10.024396
• Title: Attend, Distill, Detect: Attention-aware Entropy Distillation for Anomaly Detection
• Title（参考訳）: Attend, Distill, Detect: Atention-aware Entropy Distillation for Anomaly Detection
• Authors: Sushovan Jena, Vishwas Saini, Ujjwal Shaw, Pavitra Jain, Abhay Singh Raihal, Anoushka Banerjee, Sharad Joshi, Ananth Ganesh, Arnav Bhavsar,
• Abstract要約: 知識蒸留に基づくマルチクラスの異常検出では、低レイテンシで十分なパフォーマンスが期待できるが、1クラスのバージョンに比べて大幅に低下する。 教師と学生のネットワーク間の蒸留プロセスを改善するDCAM(Distributed Convolutional Attention Module)を提案する。
• 参考スコア（独自算出の注目度）: 4.0679780034913335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised anomaly detection encompasses diverse applications in industrial settings where a high-throughput and precision is imperative. Early works were centered around one-class-one-model paradigm, which poses significant challenges in large-scale production environments. Knowledge-distillation based multi-class anomaly detection promises a low latency with a reasonably good performance but with a significant drop as compared to one-class version. We propose a DCAM (Distributed Convolutional Attention Module) which improves the distillation process between teacher and student networks when there is a high variance among multiple classes or objects. Integrated multi-scale feature matching strategy to utilise a mixture of multi-level knowledge from the feature pyramid of the two networks, intuitively helping in detecting anomalies of varying sizes which is also an inherent problem in the multi-class scenario. Briefly, our DCAM module consists of Convolutional Attention blocks distributed across the feature maps of the student network, which essentially learns to masks the irrelevant information during student learning alleviating the "cross-class interference" problem. This process is accompanied by minimizing the relative entropy using KL-Divergence in Spatial dimension and a Channel-wise Cosine Similarity between the same feature maps of teacher and student. The losses enables to achieve scale-invariance and capture non-linear relationships. We also highlight that the DCAM module would only be used during training and not during inference as we only need the learned feature maps and losses for anomaly scoring and hence, gaining a performance gain of 3.92% than the multi-class baseline with a preserved latency.
• Abstract（参考訳）: 教師なし異常検出は、高いスループットと精度が必須である産業環境での多様な応用を含んでいる。 初期の作業は1クラス1モデルパラダイムを中心に行われ、大規模生産環境において大きな課題を提起した。 知識蒸留に基づくマルチクラスの異常検出は、低レイテンシで、パフォーマンスは適度に向上するが、1クラスのバージョンに比べて大幅に低下する。 本報告では,複数のクラスやオブジェクト間の分散度が高い場合に,教師と学生のネットワーク間の蒸留プロセスを改善するDCAM(Distributed Convolutional Attention Module)を提案する。 統合されたマルチスケール特徴マッチング戦略は、2つのネットワークの特徴ピラミッドから多段階の知識を混合し、直感的に様々なサイズの異常を検出するのに役立ち、これはマルチクラスのシナリオに固有の問題である。 簡単に言うと、私たちのDCAMモジュールは、学生ネットワークの機能マップに分散された畳み込み注意ブロックで構成されています。 このプロセスには,KL-Divergence を用いた空間次元の相対エントロピーの最小化と,教師と生徒の同一特徴マップ間のチャネルワイドコサイン類似性が伴う。 この損失はスケール不変性を実現し、非線形関係を捉えることができる。 また,DCAMモジュールは,学習した特徴マップと異常スコアの損失のみを必要とするため,トレーニング中にのみ使用されるのではなく,推論中に使用されることを強調した。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
  マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。 これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。 本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-21T17:17:17Z)
• Toward Multi-class Anomaly Detection: Exploring Class-aware Unified Model against Inter-class Interference [67.36605226797887]
  統一型異常検出(MINT-AD)のためのマルチクラスインプリシトニューラル表現変換器を提案する。 マルチクラス分布を学習することにより、モデルが変換器デコーダのクラス対応クエリ埋め込みを生成する。 MINT-ADは、カテゴリと位置情報を特徴埋め込み空間に投影することができ、さらに分類と事前確率損失関数によって監督される。
  論文  参考訳（メタデータ） (2024-03-21T08:08:31Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Anomaly Detection via Multi-Scale Contrasted Memory [3.0170109896527086]
  マルチスケールの標準プロトタイプをトレーニング中に記憶し,異常偏差値を計算する2段階の異常検出器を新たに導入する。 CIFAR-10の誤差相対改善率を最大35%とすることにより,多種多様なオブジェクト,スタイル,局所異常に対する最先端性能を高い精度で向上させる。
  論文  参考訳（メタデータ） (2022-11-16T16:58:04Z)
• Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
  本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。 いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
  論文  参考訳（メタデータ） (2021-09-14T12:53:35Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。