論文の概要: Multimodal Industrial Anomaly Detection via Hybrid Fusion

• arxiv url: http://arxiv.org/abs/2303.00601v2
• Date: Thu, 7 Sep 2023 08:28:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 17:36:58.980612
• Title: Multimodal Industrial Anomaly Detection via Hybrid Fusion
• Title（参考訳）: ハイブリッド融合によるマルチモーダル産業異常検出
• Authors: Yue Wang, Jinlong Peng, Jiangning Zhang, Ran Yi, Yabiao Wang, Chengjie Wang
• Abstract要約: ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
• 参考スコア（独自算出の注目度）: 59.16333340582885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 2D-based Industrial Anomaly Detection has been widely discussed, however, multimodal industrial anomaly detection based on 3D point clouds and RGB images still has many untouched fields. Existing multimodal industrial anomaly detection methods directly concatenate the multimodal features, which leads to a strong disturbance between features and harms the detection performance. In this paper, we propose Multi-3D-Memory (M3DM), a novel multimodal anomaly detection method with hybrid fusion scheme: firstly, we design an unsupervised feature fusion with patch-wise contrastive learning to encourage the interaction of different modal features; secondly, we use a decision layer fusion with multiple memory banks to avoid loss of information and additional novelty classifiers to make the final decision. We further propose a point feature alignment operation to better align the point cloud and RGB features. Extensive experiments show that our multimodal industrial anomaly detection model outperforms the state-of-the-art (SOTA) methods on both detection and segmentation precision on MVTec-3D AD dataset. Code is available at https://github.com/nomewang/M3DM.
• Abstract（参考訳）: 2Dに基づく産業異常検出は広く議論されているが、3D点雲とRGB画像に基づくマルチモーダル産業異常検出には、まだ多くの未タッチフィールドがある。 既存のマルチモーダル産業異常検出手法は, マルチモーダル特徴を直接結合し, 特徴間の強い乱れを招き, 検出性能を損なう。 本稿では,ハイブリッド・フュージョン・スキームを用いた新しいマルチモーダル・アノマリー検出手法であるmulti-3d-memory (m3dm)を提案する。第1に,異なるモーダル特徴の相互作用を促進するパッチ・アズ・コントラスト・ラーニングを用いた教師なし機能融合の設計,第2に,複数のメモリバンクとの意思決定層融合による情報損失の回避,最終決定のための新たな分類器の追加などを提案する。 さらに,ポイントクラウドとrgbの機能を調整するためのポイント機能アライメント操作を提案する。 MVTec-3D ADデータセットにおける検出精度とセグメンテーション精度の両面で、我々の多モード産業異常検出モデルは、最先端(SOTA)手法よりも優れていることを示す。 コードはhttps://github.com/nomewang/M3DMで入手できる。

関連論文リスト

• A Survey on RGB, 3D, and Multimodal Approaches for Unsupervised Industrial Anomaly Detection [24.634671653473397]
  非監督型産業異常検出(UIAD)技術は、異常サンプルの不足を効果的に克服し、スマートマニュファクチャリングの自動化と信頼性を高める。 RGB, 3D, マルチモーダル異常検出は, 産業情報化分野における包括的かつ堅牢な機能を示している。 3次元UIADとマルチモーダルUIADに着目し、3つのモード設定で、教師なしの産業異常検出の包括的概要を提供する。
  論文  参考訳（メタデータ） (2024-10-29T12:12:45Z)
• M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising [63.39134873744748]
  既存の産業異常検出手法は主に、原始RGB画像を用いた教師なし学習に重点を置いている。 本稿では,CLIPの強力なマルチモーダル識別機能を利用する新しい耐雑音性M3DM-NRフレームワークを提案する。 M3DM-NRは3D-RGBマルチモーダルノイズ異常検出において最先端の手法より優れていた。
  論文  参考訳（メタデータ） (2024-06-04T12:33:02Z)
• Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping [12.442574943138794]
  本稿では、点雲とRGB画像を利用して異常をローカライズする産業用マルチモーダル異常検出(AD)タスクについて検討する。 我々は,新しい軽量かつ高速なフレームワークを導入し,特徴を1つのモダリティからもう1つのモダリティへのマップを,名目標本上で学習する。
  論文  参考訳（メタデータ） (2023-12-07T18:41:21Z)
• Dual-Branch Reconstruction Network for Industrial Anomaly Detection with RGB-D Data [1.861332908680942]
  3次元点雲とRGB画像に基づくマルチモーダル産業異常検出が出現し始めている。 上記の方法は、より長い推論時間と高いメモリ使用量を必要とするため、業界におけるリアルタイムな要求を満たすことはできない。 本稿では、RGB-D入力に基づく軽量な二重分岐再構成ネットワークを提案し、通常例と異常例の判定境界を学習する。
  論文  参考訳（メタデータ） (2023-11-12T10:19:14Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
  マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。 この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。 本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:35:23Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• Exploring Data Augmentation for Multi-Modality 3D Object Detection [82.9988604088494]
  ポイントクラウドとイメージに基づくマルチモダリティメソッドは、ポイントクラウドのみを使用するアプローチよりも、わずかに良いか、時には悪いだけである。 トランスフォーメーションフローと呼ばれるパイプラインを提案し、トランスフォーメーションのリバースとリプレイによってシングルモードとマルチモードのデータ拡張のギャップを埋める。 また,本手法は第3回nuScenes検出チャレンジでPKL賞を受賞した。
  論文  参考訳（メタデータ） (2020-12-23T15:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。