Fugu-MT 論文翻訳(概要): Anomaly Detection via Reverse Distillation from One-Class Embedding

論文の概要: Anomaly Detection via Reverse Distillation from One-Class Embedding

arxiv url: http://arxiv.org/abs/2201.10703v1
Date: Wed, 26 Jan 2022 01:48:37 GMT
ステータス: 処理完了
システム内更新日: 2022-01-27 13:20:12.870121
Title: Anomaly Detection via Reverse Distillation from One-Class Embedding
Title（参考訳）: 一級埋め込みによる逆蒸留による異常検出
Authors: Hanqiu Deng, Xingyu Li
Abstract要約: 教師エンコーダと生徒デコーダからなる新しいT-Sモデルを提案する。生画像を直接受信する代わりに、学生ネットワークは教師モデルの1クラス埋め込みを入力として取り込む。さらに、T-Sモデルにトレーニング可能な1クラスボトルネック埋め込みモジュールを導入する。
参考スコア（独自算出の注目度）: 2.715884199292287
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge distillation (KD) achieves promising results on the challenging problem of unsupervised anomaly detection (AD).The representation discrepancy of anomalies in the teacher-student (T-S) model provides essential evidence for AD. However, using similar or identical architectures to build the teacher and student models in previous studies hinders the diversity of anomalous representations. To tackle this problem, we propose a novel T-S model consisting of a teacher encoder and a student decoder and introduce a simple yet effective "reverse distillation" paradigm accordingly. Instead of receiving raw images directly, the student network takes teacher model's one-class embedding as input and targets to restore the teacher's multiscale representations. Inherently, knowledge distillation in this study starts from abstract, high-level presentations to low-level features. In addition, we introduce a trainable one-class bottleneck embedding (OCBE) module in our T-S model. The obtained compact embedding effectively preserves essential information on normal patterns, but abandons anomaly perturbations. Extensive experimentation on AD and one-class novelty detection benchmarks shows that our method surpasses SOTA performance, demonstrating our proposed approach's effectiveness and generalizability.
Abstract（参考訳）: 知識蒸留(KD)は,教師なし異常検出(AD)の課題に対して,有望な結果をもたらす。教師学生(T-S)モデルにおける異常の表現差はADに不可欠な証拠となる。しかし、以前の研究で教師と生徒のモデルを構築するために類似または同一のアーキテクチャを使用すると、異常表現の多様性が阻害される。そこで本研究では,教師エンコーダと学生デコーダからなる新しいT-Sモデルを提案する。生画像を直接受信する代わりに、学生ネットワークは教師モデルの1クラス埋め込みを入力として取り、教師のマルチスケール表現を復元する。本研究の知識蒸留は,本質的には抽象的,高レベルなプレゼンテーションから低レベルな機能へと始まります。さらに,T-Sモデルに,トレーニング可能な一クラスボトルネック埋め込み(OCBE)モジュールを導入する。得られたコンパクト埋め込みは、正規パターンに関する本質的な情報を効果的に保存するが、異常摂動は放棄する。提案手法の有効性と一般化性を示すため,ad と one-class novelty detection benchmark の広範な実験を行った。

関連論文リスト

Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
論文参考訳（メタデータ） (2024-11-23T19:10:32Z)
Faithful Label-free Knowledge Distillation [8.572967695281054]
本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
論文参考訳（メタデータ） (2024-11-22T01:48:44Z)
Applying the Lower-Biased Teacher Model in Semi-Supervised Object Detection [2.6852789176898613]
半教師対象検出タスクに適したアンバイアスド教師モデルの強化であるローワーバイアスド教師モデルを提案する。このモデルの主な革新は、教師モデルへのローカライズ損失の統合であり、擬似ラベル生成の精度を大幅に向上させる。
論文参考訳（メタデータ） (2024-09-29T13:33:14Z)
Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文参考訳（メタデータ） (2024-09-19T07:05:26Z)
Unleashing the Power of Generic Segmentation Models: A Simple Baseline for Infrared Small Target Detection [57.666055329221194]
本稿では,Segment Anything Model (SAM) などのジェネリックセグメンテーションモデルの赤外線小物体検出タスクへの適応について検討する。提案モデルでは,既存の手法と比較して,精度とスループットの両方で性能が大幅に向上した。
論文参考訳（メタデータ） (2024-09-07T05:31:24Z)
Dual-Modeling Decouple Distillation for Unsupervised Anomaly Detection [15.89869857998053]
教師ネットワークへの学生ネットワークの過度な一般化は、異常の表現能力に無視できない違いをもたらす可能性がある。既存の手法では, 生徒と教師を構造的観点から区別することで, オーバージェネリゼーションの可能性に対処する。本稿では,非教師付き異常検出のためのDual-Modeling Deouple Distillation (DMDD)を提案する。
論文参考訳（メタデータ） (2024-08-07T16:39:16Z)
Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。シーケンスレベルでは、シーケンス修正と再生戦略を提案する。トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文参考訳（メタデータ） (2024-07-14T03:51:49Z)
Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection [19.099643719358692]
AANDと呼ばれる単純な2段階産業異常検出フレームワークを提案する。第1の異常増幅段階において,事前学習した教師エンコーダを前進させる新しい残留異常増幅(RAA)モジュールを提案する。さらに, 学生デコーダを訓練するために, 逆蒸留パラダイムを用いて, 新たなハードナレッジ蒸留(HKD)の損失を発生させ, 正常なパターンの再構築を容易にする。
論文参考訳（メタデータ） (2024-05-03T13:00:22Z)
Structural Teacher-Student Normality Learning for Multi-Class Anomaly Detection and Localization [17.543208086457234]
SNL(Structure Teacher-Student Normality Learning)と呼ばれる新しいアプローチを導入する。提案手法をMVTecADとVisAの2つの異常検出データセットで評価した。この方法では, MVTecADが3.9%, MVTecADが1.5%, VisAが1.2%, 2.5%と, 最先端の蒸留アルゴリズムをはるかに上回っている。
論文参考訳（メタデータ） (2024-02-27T00:02:24Z)
Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップこれらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文参考訳（メタデータ） (2023-05-25T04:49:34Z)
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文参考訳（メタデータ） (2023-01-27T22:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。