論文の概要: A SAM-guided Two-stream Lightweight Model for Anomaly Detection
- arxiv url: http://arxiv.org/abs/2402.19145v1
- Date: Thu, 29 Feb 2024 13:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 14:44:07.272959
- Title: A SAM-guided Two-stream Lightweight Model for Anomaly Detection
- Title(参考訳): SAM誘導による異常検出用2ストリーム軽量モデル
- Authors: Chenghao Li, Lei Qi, Xin Geng
- Abstract要約: 我々は、教師なし異常検出(STLM)のためのSAM誘導2ストリーム軽量モデルを提案する。
MVTec ADベンチマークを用いて行った実験により,約16Mのパラメータを持ち,20msの推論時間を実現したSTLMは,最先端の手法と効果的に競合することが示された。
- 参考スコア(独自算出の注目度): 50.28310943263051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In industrial anomaly detection, model efficiency and mobile-friendliness
become the primary concerns in real-world applications. Simultaneously, the
impressive generalization capabilities of Segment Anything (SAM) have garnered
broad academic attention, making it an ideal choice for localizing unseen
anomalies and diverse real-world patterns. In this paper, considering these two
critical factors, we propose a SAM-guided Two-stream Lightweight Model for
unsupervised anomaly detection (STLM) that not only aligns with the two
practical application requirements but also harnesses the robust generalization
capabilities of SAM. We employ two lightweight image encoders, i.e., our
two-stream lightweight module, guided by SAM's knowledge. To be specific, one
stream is trained to generate discriminative and general feature
representations in both normal and anomalous regions, while the other stream
reconstructs the same images without anomalies, which effectively enhances the
differentiation of two-stream representations when facing anomalous regions.
Furthermore, we employ a shared mask decoder and a feature aggregation module
to generate anomaly maps. Our experiments conducted on MVTec AD benchmark show
that STLM, with about 16M parameters and achieving an inference time in 20ms,
competes effectively with state-of-the-art methods in terms of performance,
98.26% on pixel-level AUC and 94.92% on PRO. We further experiment on more
difficult datasets, e.g., VisA and DAGM, to demonstrate the effectiveness and
generalizability of STLM.
- Abstract(参考訳): 産業的な異常検出では、実世界のアプリケーションではモデル効率とモバイルフレンドリが主要な関心事となっている。
同時に、Segment Anything(SAM)の印象的な一般化能力は広く学術的な注目を集めており、目に見えない異常や多様な現実世界のパターンをローカライズするのに理想的な選択肢となっている。
本稿では,これら2つの重要な要因を考慮し,SAM誘導型非教師付き異常検出用2ストリーム軽量モデル(STLM)を提案する。
我々はSAMの知識によってガイドされた2ストリームの軽量モジュールである2つの軽量画像エンコーダを採用している。
具体的には、一方のストリームは正常領域と異常領域の両方で識別的および一般的な特徴表現を生成するように訓練され、他方のストリームは同じ画像を異常なく再構成し、異常領域に直面した際の2ストリーム表現の識別を効果的に強化する。
さらに,共有マスクデコーダと特徴集約モジュールを用いて異常マップを生成する。
MVTec ADベンチマークの結果,約16Mのパラメータを持ち,20msの推論時間を実現したSTLMは,高精細度AUCでは98.26%,PROでは94.92%の精度で最先端の手法と競合することがわかった。
さらに、より難しいデータセット、例えばVisAやDAGMについて実験を行い、STLMの有効性と一般化性を示す。
関連論文リスト
- WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小化しながら、事前学習した知識を完全に活用するために、SAMは凍結し、最小限の追加パラメータと計算を導入します。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳(メタデータ) (2024-03-14T10:30:43Z) - Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。
本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文 参考訳(メタデータ) (2024-01-06T07:30:41Z) - BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [69.85171104474558]
我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。
SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。
我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
論文 参考訳(メタデータ) (2024-01-04T15:34:44Z) - Dual Memory Units with Uncertainty Regulation for Weakly Supervised
Video Anomaly Detection [15.991784541576788]
ビデオとセグメントレベルのラベル指向の既存のアプローチは、主に異常データの表現の抽出に重点を置いている。
本研究では、正規データの表現と異常データの識別特徴の両方を学習するために、不確実性制御デュアルメモリユニット(UR-DMU)モデルを提案する。
我々の手法は、最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-02-10T10:39:40Z) - Prototypical Residual Networks for Anomaly Detection and Localization [80.5730594002466]
本稿では,PRN(Prototypeal Residual Network)というフレームワークを提案する。
PRNは、異常領域の分割マップを正確に再構築するために、異常領域と正常パターンの間の様々なスケールとサイズの特徴的残差を学習する。
異常を拡大・多様化するために,見かけの相違と外観の相違を考慮に入れた様々な異常発生戦略を提示する。
論文 参考訳(メタデータ) (2022-12-05T05:03:46Z) - Learning Appearance-motion Normality for Video Anomaly Detection [11.658792932975652]
時空間記憶を付加した2ストリーム自動エンコーダフレームワークを提案する。
見た目の正常さと動きの正常さを独立に学習し、敵の学習を通して相関関係を探索する。
我々のフレームワークは最先端の手法より優れており、UCSD Ped2とCUHK Avenueのデータセットで98.1%、89.8%のAUCを実現している。
論文 参考訳(メタデータ) (2022-07-27T08:30:19Z) - Adaptive Memory Networks with Self-supervised Learning for Unsupervised
Anomaly Detection [54.76993389109327]
教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。
本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。
AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
論文 参考訳(メタデータ) (2022-01-03T03:40:21Z) - MIST: Multiple Instance Self-Training Framework for Video Anomaly
Detection [76.80153360498797]
タスク固有の識別表現を効率的に洗練するためのマルチインスタンス自己学習フレームワーク(MIST)を開発した。
mistは1)スパース連続サンプリング戦略を適用し,より信頼性の高いクリップレベル擬似ラベルを生成するマルチインスタンス擬似ラベル生成器,2)自己誘導型注意強調特徴エンコーダで構成される。
本手法は,上海技術におけるフレームレベルのAUC 94.83%の取得において,既存の教師付きおよび弱教師付き手法と同等あるいはそれ以上に機能する。
論文 参考訳(メタデータ) (2021-04-04T15:47:14Z) - Unsupervised Video Anomaly Detection via Normalizing Flows with Implicit
Latent Features [8.407188666535506]
既存のほとんどのメソッドはオートエンコーダを使用して、通常のビデオの再構築を学ぶ。
本稿では2つのエンコーダが暗黙的に外観と動きの特徴をモデル化する構造である暗黙の2経路AE(ITAE)を提案する。
通常のシーンの複雑な分布については,ITAE特徴量の正規密度推定を提案する。
NFモデルは暗黙的に学習された機能を通じて正常性を学ぶことでITAEのパフォーマンスを高める。
論文 参考訳(メタデータ) (2020-10-15T05:02:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。