論文の概要: Unlocking the Potential of Reverse Distillation for Anomaly Detection

• arxiv url: http://arxiv.org/abs/2412.07579v1
• Date: Tue, 10 Dec 2024 15:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:57.011925
• Title: Unlocking the Potential of Reverse Distillation for Anomaly Detection
• Title（参考訳）: 異常検出のための逆蒸留の可能性の解錠
• Authors: Xinyue Liu, Jianyuan Wang, Biao Leng, Shuo Zhang,
• Abstract要約: 本稿では,教師エンコーダと学生デコーダの同時蒸留のためのエキスパート・教師・学生ネットワークを提案する。 専門的なネットワークが加わり、通常の特徴を生み出す能力が向上し、教師の正常特徴と異常特徴の区別が最適化される。 提案手法は, 逆蒸留パラダイムの下で, 既存の非教師なしAD法より優れる。
• 参考スコア（独自算出の注目度）: 15.89869857998053
• License:
• Abstract: Knowledge Distillation (KD) is a promising approach for unsupervised Anomaly Detection (AD). However, the student network's over-generalization often diminishes the crucial representation differences between teacher and student in anomalous regions, leading to detection failures. To addresses this problem, the widely accepted Reverse Distillation (RD) paradigm designs the asymmetry teacher and student, using an encoder as teacher and a decoder as student. Yet, the design of RD does not ensure that the teacher encoder effectively distinguishes between normal and abnormal features or that the student decoder generates anomaly-free features. Additionally, the absence of skip connections results in a loss of fine details during feature reconstruction. To address these issues, we propose RD with Expert, which introduces a novel Expert-Teacher-Student network for simultaneous distillation of both the teacher encoder and student decoder. The added expert network enhances the student's ability to generate normal features and optimizes the teacher's differentiation between normal and abnormal features, reducing missed detections. Additionally, Guided Information Injection is designed to filter and transfer features from teacher to student, improving detail reconstruction and minimizing false positives. Experiments on several benchmarks prove that our method outperforms existing unsupervised AD methods under RD paradigm, fully unlocking RD's potential.
• Abstract（参考訳）: 知識蒸留(KD)は、教師なし異常検出(AD)のための有望なアプローチである。 しかし、学生ネットワークの過度な一般化は、異常領域における教師と生徒の重大な表現差を減らし、検出に失敗する。 この問題を解決するために、広く受け入れられているReverse Distillation(RD)パラダイムは、エンコーダを教師として、デコーダを学生として、非対称性の教師と学生を設計する。 しかし、RDの設計は、教師エンコーダが正常な特徴と異常な特徴とを効果的に区別すること、または学生デコーダが異常な特徴を発生させることを保証するものではない。 さらに、スキップ接続がないと、機能再構築時に細部が失われる。 そこで我々は,教師エンコーダと学生デコーダの同時蒸留のための新しいエキスパート・教師・学生ネットワークであるRD with Expertを提案する。 新たなエキスパートネットワークは、通常の特徴を生成する能力を高め、教師の正常特徴と異常特徴の区別を最適化し、見逃した検出を減らす。 さらに、ガイドインフォメーションは、教師から生徒への機能のフィルタリングと伝達、詳細な再構築の改善、偽陽性の最小化を目的としている。 いくつかのベンチマーク実験により,提案手法はRDパラダイムの下での既存の教師なしADメソッドよりも優れており,RDの可能性を完全に解き放つことが証明された。

関連論文リスト

• Dual-Modeling Decouple Distillation for Unsupervised Anomaly Detection [15.89869857998053]
  教師ネットワークへの学生ネットワークの過度な一般化は、異常の表現能力に無視できない違いをもたらす可能性がある。 既存の手法では, 生徒と教師を構造的観点から区別することで, オーバージェネリゼーションの可能性に対処する。 本稿では,非教師付き異常検出のためのDual-Modeling Deouple Distillation (DMDD)を提案する。
  論文  参考訳（メタデータ） (2024-08-07T16:39:16Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection [19.099643719358692]
  AANDと呼ばれる単純な2段階産業異常検出フレームワークを提案する。 第1の異常増幅段階において,事前学習した教師エンコーダを前進させる新しい残留異常増幅(RAA)モジュールを提案する。 さらに, 学生デコーダを訓練するために, 逆蒸留パラダイムを用いて, 新たなハードナレッジ蒸留(HKD)の損失を発生させ, 正常なパターンの再構築を容易にする。
  論文  参考訳（メタデータ） (2024-05-03T13:00:22Z)
• SD-DiT: Unleashing the Power of Self-supervised Discrimination in Diffusion Transformer [102.39050180060913]
  拡散変換器(DiT)は画像生成における生成拡散モデルの新たなトレンドとして登場した。 最近のブレークスルーは、画像内文脈学習を追加することで、DiTのトレーニング効率を大幅に改善するマスク戦略によって推進されている。 本研究は,DiTトレーニングを促進するための自己監督的識別知識を新たに開放することで,これらの制約に対処する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:35Z)
• Part Representation Learning with Teacher-Student Decoder for Occluded Person Re-identification [65.63180725319906]
  本稿では,隠蔽者ReIDのためのTSD(Teacher-Student Decoder)フレームワークを提案する。 提案するTSDは,Parsing-aware Teacher Decoder (PTD) と標準学生デコーダ (SSD) から構成される。
  論文  参考訳（メタデータ） (2023-12-15T13:54:48Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Anomaly Detection via Reverse Distillation from One-Class Embedding [2.715884199292287]
  教師エンコーダと生徒デコーダからなる新しいT-Sモデルを提案する。 生画像を直接受信する代わりに、学生ネットワークは教師モデルの1クラス埋め込みを入力として取り込む。 さらに、T-Sモデルにトレーニング可能な1クラスボトルネック埋め込みモジュールを導入する。
  論文  参考訳（メタデータ） (2022-01-26T01:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。