論文の概要: Memoryless Multimodal Anomaly Detection via Student-Teacher Network and Signed Distance Learning
- arxiv url: http://arxiv.org/abs/2409.05378v1
- Date: Mon, 9 Sep 2024 07:18:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 15:30:45.249449
- Title: Memoryless Multimodal Anomaly Detection via Student-Teacher Network and Signed Distance Learning
- Title(参考訳): 学生-教師ネットワークによるメモリレスマルチモーダル異常検出と符号付き遠隔学習
- Authors: Zhongbin Sun, Xiaolong Li, Yiran Li, Yue Ma,
- Abstract要約: マルチモーダル異常検出のための新しいメモリレスMDSSを提案する。
ライトウェイトな学生-教師ネットワークと、RGBイメージと3Dポイントクラウドから学ぶための署名付き距離関数を採用している。
実験の結果,MDSSはSOTAメモリバンク方式のShape-guidedと同等だが安定であることがわかった。
- 参考スコア(独自算出の注目度): 8.610387986933741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised anomaly detection is a challenging computer vision task, in which 2D-based anomaly detection methods have been extensively studied. However, multimodal anomaly detection based on RGB images and 3D point clouds requires further investigation. The existing methods are mainly inspired by memory bank based methods commonly used in 2D-based anomaly detection, which may cost extra memory for storing mutimodal features. In present study, a novel memoryless method MDSS is proposed for multimodal anomaly detection, which employs a light-weighted student-teacher network and a signed distance function to learn from RGB images and 3D point clouds respectively, and complements the anomaly information from the two modalities. Specifically, a student-teacher network is trained with normal RGB images and masks generated from point clouds by a dynamic loss, and the anomaly score map could be obtained from the discrepancy between the output of student and teacher. Furthermore, the signed distance function learns from normal point clouds to predict the signed distances between points and surface, and the obtained signed distances are used to generate anomaly score map. Subsequently, the anomaly score maps are aligned to generate the final anomaly score map for detection. The experimental results indicate that MDSS is comparable but more stable than the SOTA memory bank based method Shape-guided, and furthermore performs better than other baseline methods.
- Abstract(参考訳): 教師なし異常検出はコンピュータビジョンの課題であり、2Dベースの異常検出方法が広く研究されている。
しかし、RGB画像と3D点雲に基づくマルチモーダル異常検出には、さらなる調査が必要である。
既存の手法は主に2Dベースの異常検出でよく使われるメモリバンクベースの手法にインスパイアされている。
本研究では,RGB画像と3次元点雲からそれぞれ学習するために,学生-教師ネットワークと符号付き距離関数を用いたマルチモーダル異常検出のための新しいメモリレス手法MDSSを提案し,その2つのモードから異常情報を補完する。
具体的には,通常のRGB画像とマスクを動的損失でトレーニングし,学生と教師の出力の相違から異常スコアマップを得ることができた。
さらに、符号付き距離関数は通常の点雲から学習して点と面の間の符号付き距離を予測し、得られた符号付き距離を用いて異常スコアマップを生成する。
その後、異常スコアマップを整列して最終異常スコアマップを生成して検出する。
実験の結果,MDSSはSOTAメモリバンク方式のShape-guidedと同等だが安定であり,他のベースライン方式よりも優れた性能を示した。
関連論文リスト
- M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising [63.39134873744748]
既存の産業異常検出手法は主に、原始RGB画像を用いた教師なし学習に重点を置いている。
本稿では,CLIPの強力なマルチモーダル識別機能を利用する新しい耐雑音性M3DM-NRフレームワークを提案する。
M3DM-NRは3D-RGBマルチモーダルノイズ異常検出において最先端の手法より優れていた。
論文 参考訳(メタデータ) (2024-06-04T12:33:02Z) - OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation [67.56268991234371]
OV-Uni3DETRは、様々なシナリオにおける最先端のパフォーマンスを達成し、既存のメソッドを平均6%以上上回っている。
コードと事前訓練されたモデルは、後にリリースされる。
論文 参考訳(メタデータ) (2024-03-28T17:05:04Z) - Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。
設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
論文 参考訳(メタデータ) (2024-02-28T18:59:31Z) - Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly
Detection [2.06682776181122]
学生教師ネットワーク(S-T)は教師なしの異常検出に好まれる。
しかし、バニラS-Tネットワークは安定ではない。
本稿では,新しい知識蒸留アーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-02-01T09:32:39Z) - Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。
本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文 参考訳(メタデータ) (2024-01-06T07:30:41Z) - Dual-Branch Reconstruction Network for Industrial Anomaly Detection with
RGB-D Data [1.861332908680942]
3次元点雲とRGB画像に基づくマルチモーダル産業異常検出が出現し始めている。
上記の方法は、より長い推論時間と高いメモリ使用量を必要とするため、業界におけるリアルタイムな要求を満たすことはできない。
本稿では、RGB-D入力に基づく軽量な二重分岐再構成ネットワークを提案し、通常例と異常例の判定境界を学習する。
論文 参考訳(メタデータ) (2023-11-12T10:19:14Z) - Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。
本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文 参考訳(メタデータ) (2023-03-01T15:48:27Z) - Teacher-Student Network for 3D Point Cloud Anomaly Detection with Few
Normal Samples [21.358496646676087]
教師による3次元異常検出のための構造化モデルの設計を行う。
具体的には、特徴空間アライメント、次元ズーム、最大プールを用いて点雲の特徴を抽出する。
本手法では,学生ネットワークを学習するために,ごくごく普通のサンプルしか必要としない。
論文 参考訳(メタデータ) (2022-10-31T12:29:55Z) - Reconstructed Student-Teacher and Discriminative Networks for Anomaly
Detection [8.35780131268962]
学生と教師のネットワークで構成されるSTPM(Standard-Teacher Feature pyramid matching)に基づいて,強力な異常検出手法を提案する。
本研究は,STPMの精度を向上させるために,学生ネットワークを生成モデルとして使用し,通常の特徴を再構築する。
さらに精度を向上させるために,本手法では擬似アノマリーで訓練した識別ネットワークを用いる。
論文 参考訳(メタデータ) (2022-10-14T05:57:50Z) - DetMatch: Two Teachers are Better Than One for Joint 2D and 3D
Semi-Supervised Object Detection [29.722784254501768]
DetMatchは、2Dおよび3Dモダリティに関する共同半教師付き学習のための柔軟なフレームワークである。
両方のセンサーで検出された物体を識別することで、パイプラインはよりクリーンで堅牢な擬似ラベルを生成する。
我々はRGB画像のよりリッチなセマンティクスを活用して、誤った3Dクラスの予測を修正し、3Dボックスのローカライズを改善する。
論文 参考訳(メタデータ) (2022-03-17T17:58:00Z) - UC-Net: Uncertainty Inspired RGB-D Saliency Detection via Conditional
Variational Autoencoders [81.5490760424213]
データラベリングプロセスから学習することで、RGB-Dサリエンシ検出に不確実性を利用するための第1のフレームワーク(UCNet)を提案する。
そこで本研究では,サリエンシデータラベリングにヒントを得て,確率的RGB-Dサリエンシ検出ネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-13T04:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。