論文の概要: Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection

• arxiv url: http://arxiv.org/abs/2405.02068v1
• Date: Fri, 3 May 2024 13:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 12:55:53.303038
• Title: Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection
• Title（参考訳）: 予習教師の育成 : 異常検出のためのロバスト特徴の相違を目指して
• Authors: Canhui Tang, Sanping Zhou, Yizhe Li, Yonghao Dong, Le Wang,
• Abstract要約: AANDと呼ばれる単純な2段階産業異常検出フレームワークを提案する。 第1の異常増幅段階において,事前学習した教師エンコーダを前進させる新しい残留異常増幅(RAA)モジュールを提案する。 さらに, 学生デコーダを訓練するために, 逆蒸留パラダイムを用いて, 新たなハードナレッジ蒸留(HKD)の損失を発生させ, 正常なパターンの再構築を容易にする。
• 参考スコア（独自算出の注目度）: 19.099643719358692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the wide application of knowledge distillation between an ImageNet pre-trained teacher model and a learnable student model, industrial anomaly detection has witnessed a significant achievement in the past few years. The success of knowledge distillation mainly relies on how to keep the feature discrepancy between the teacher and student model, in which it assumes that: (1) the teacher model can jointly represent two different distributions for the normal and abnormal patterns, while (2) the student model can only reconstruct the normal distribution. However, it still remains a challenging issue to maintain these ideal assumptions in practice. In this paper, we propose a simple yet effective two-stage industrial anomaly detection framework, termed as AAND, which sequentially performs Anomaly Amplification and Normality Distillation to obtain robust feature discrepancy. In the first anomaly amplification stage, we propose a novel Residual Anomaly Amplification (RAA) module to advance the pre-trained teacher encoder. With the exposure of synthetic anomalies, it amplifies anomalies via residual generation while maintaining the integrity of pre-trained model. It mainly comprises a Matching-guided Residual Gate and an Attribute-scaling Residual Generator, which can determine the residuals' proportion and characteristic, respectively. In the second normality distillation stage, we further employ a reverse distillation paradigm to train a student decoder, in which a novel Hard Knowledge Distillation (HKD) loss is built to better facilitate the reconstruction of normal patterns. Comprehensive experiments on the MvTecAD, VisA, and MvTec3D-RGB datasets show that our method achieves state-of-the-art performance.
• Abstract（参考訳）: ImageNet事前学習型教師モデルと学習可能な学生モデルとの知識蒸留の幅広い応用により、産業異常検出はここ数年で大きな成果を上げてきた。 知識蒸留の成功は,(1)教師モデルが正常なパターンと異常なパターンの2つの異なる分布を共同で表現し,(2)学生モデルが正規分布を再構築することのみを前提として,教師モデルと学生モデルとの間の特徴差を維持する方法に大きく依存している。 しかし、これらの理想的な仮定を実際に維持することは依然として難しい問題である。 本稿では,AAND(Anomaly Amplification and Normality Distillation)と呼ばれる単純な2段階産業異常検出フレームワークを提案する。 第1の異常増幅段階において,事前学習した教師エンコーダを前進させる新しい残留異常増幅(RAA)モジュールを提案する。 合成異常の曝露により、事前訓練されたモデルの整合性を維持しつつ、残留生成を介して異常を増幅する。 主にMatching-guided Residual GateとAttribute-scaling Residual Generatorで構成されており、それぞれの残余比と特性を決定できる。 第2次常温蒸留では, 新たなハードナレッジ蒸留(HKD)の損失を生かし, 正常なパターンの再構築を容易にするための逆蒸留パラダイムを用いて, 学生デコーダを訓練する。 MvTecAD, VisA, MvTec3D-RGBデータセットの総合的な実験により, 本手法が最先端の性能を実現することを示す。

関連論文リスト

• Dual-Modeling Decouple Distillation for Unsupervised Anomaly Detection [15.89869857998053]
  教師ネットワークへの学生ネットワークの過度な一般化は、異常の表現能力に無視できない違いをもたらす可能性がある。 既存の手法では, 生徒と教師を構造的観点から区別することで, オーバージェネリゼーションの可能性に対処する。 本稿では,非教師付き異常検出のためのDual-Modeling Deouple Distillation (DMDD)を提案する。
  論文  参考訳（メタデータ） (2024-08-07T16:39:16Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Structural Teacher-Student Normality Learning for Multi-Class Anomaly Detection and Localization [17.543208086457234]
  SNL(Structure Teacher-Student Normality Learning)と呼ばれる新しいアプローチを導入する。 提案手法をMVTecADとVisAの2つの異常検出データセットで評価した。 この方法では, MVTecADが3.9%, MVTecADが1.5%, VisAが1.2%, 2.5%と, 最先端の蒸留アルゴリズムをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-02-27T00:02:24Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [89.49600182243306]
  我々は拡散モデルを用いて再構成過程をノイズ・ツー・ノームパラダイムに再構成する。 本稿では,拡散モデルにおける従来の反復的復調よりもはるかに高速な高速な一段階復調パラダイムを提案する。 セグメント化サブネットワークは、入力画像とその異常のない復元を用いて画素レベルの異常スコアを予測する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• Diversity-Measurable Anomaly Detection [106.07413438216416]
  本稿では,再構成の多様性を高めるため,DMAD(Diversity-Measurable Anomaly Detection)フレームワークを提案する。 PDMは基本的に、変形を埋め込みから分離し、最終的な異常スコアをより信頼性を高める。
  論文  参考訳（メタデータ） (2023-03-09T05:52:42Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• DETRDistill: A Universal Knowledge Distillation Framework for DETR-families [11.9748352746424]
  トランスフォーマーベースの検出器(DETR)は、訓練パラダイムの疎さと後処理操作の除去により、大きな注目を集めている。 知識蒸留(KD)は、普遍的な教師学習フレームワークを構築することで、巨大なモデルを圧縮するために用いられる。
  論文  参考訳（メタデータ） (2022-11-17T13:35:11Z)
• Anomaly Detection via Reverse Distillation from One-Class Embedding [2.715884199292287]
  教師エンコーダと生徒デコーダからなる新しいT-Sモデルを提案する。 生画像を直接受信する代わりに、学生ネットワークは教師モデルの1クラス埋め込みを入力として取り込む。 さらに、T-Sモデルにトレーニング可能な1クラスボトルネック埋め込みモジュールを導入する。
  論文  参考訳（メタデータ） (2022-01-26T01:48:37Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。