論文の概要: Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective

• arxiv url: http://arxiv.org/abs/2412.17297v1
• Date: Mon, 23 Dec 2024 05:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:58:04.586895
• Title: Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective
• Title（参考訳）: 建築的観点からの3次元異常検出のためのマルチモーダルフュージョンの再検討
• Authors: Kaifang Long, Guoyang Xie, Lianbo Ma, Jiaqi Liu, Zhichao Lu,
• Abstract要約: 我々は3D-ADに寄与するマルチモーダル・フュージョン・アーキテクチャ(トポロジー)設計の役割を分析する。 マルチモーダル融合戦略とモダリティ特異的モジュールを同時に探索する3D-ADNASを提案する。 広範囲な実験により、3D-ADNASは様々なモデル容量で連続的に3D-ADを改善することが示された。
• 参考スコア（独自算出の注目度）: 22.477930659171303
• License:
• Abstract: Existing efforts to boost multimodal fusion of 3D anomaly detection (3D-AD) primarily concentrate on devising more effective multimodal fusion strategies. However, little attention was devoted to analyzing the role of multimodal fusion architecture (topology) design in contributing to 3D-AD. In this paper, we aim to bridge this gap and present a systematic study on the impact of multimodal fusion architecture design on 3D-AD. This work considers the multimodal fusion architecture design at the intra-module fusion level, i.e., independent modality-specific modules, involving early, middle or late multimodal features with specific fusion operations, and also at the inter-module fusion level, i.e., the strategies to fuse those modules. In both cases, we first derive insights through theoretically and experimentally exploring how architectural designs influence 3D-AD. Then, we extend SOTA neural architecture search (NAS) paradigm and propose 3D-ADNAS to simultaneously search across multimodal fusion strategies and modality-specific modules for the first time.Extensive experiments show that 3D-ADNAS obtains consistent improvements in 3D-AD across various model capacities in terms of accuracy, frame rate, and memory usage, and it exhibits great potential in dealing with few-shot 3D-AD tasks.
• Abstract（参考訳）: 従来の3次元異常検出(3D-AD)のマルチモーダル核融合促進努力は主により効果的なマルチモーダル核融合戦略の開発に集中していた。 しかし、3D-ADに寄与するマルチモーダル・フュージョン・アーキテクチャ(トポロジー)設計の役割を分析することにはほとんど注意が払われなかった。 本稿では,このギャップを埋めることを目的として,マルチモーダルフュージョンアーキテクチャ設計が3D-ADに与える影響に関する体系的研究を行う。 この研究は、モジュール内核融合レベルでのマルチモーダル融合アーキテクチャ設計、すなわち、特定の核融合操作を伴う早期、中期、後期のマルチモーダル特徴を含む独立したモジュラリティ固有のモジュール、およびモジュール間核融合レベルでの戦略を考察する。 どちらの場合も、まず理論的、実験的に3D-ADにどのように影響するかを探求することで洞察を導き出す。 そこで我々は,SOTAニューラルアーキテクチャーサーチ(NAS)のパラダイムを拡張し,マルチモーダル融合戦略とモダリティ特異的モジュールを同時に探索する3D-ADNASを提案する。

関連論文リスト

• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• MonoMM: A Multi-scale Mamba-Enhanced Network for Real-time Monocular 3D Object Detection [9.780498146964097]
  リアルタイムモノクロ3Dオブジェクト検出のための革新的なネットワークアーキテクチャであるMonoMMを提案する。 MonoMM は Focused Multi-Scale Fusion (FMF) と Depth-Aware Feature Enhancement Mamba (DMB) モジュールで構成されている。 提案手法は,従来の単分子法よりも優れ,リアルタイム検出を実現する。
  論文  参考訳（メタデータ） (2024-08-01T10:16:58Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• mmFUSION: Multimodal Fusion for 3D Objects Detection [18.401155770778757]
  マルチセンサー融合は、自動運転システムにおける正確な3次元物体検出に不可欠である。 本稿では,これらの課題を克服するために,新たな中間レベルマルチモーダル融合手法を提案する。 mmdetection3Dプロジェクトプラグインのコードは近く公開される予定だ。
  論文  参考訳（メタデータ） (2023-11-07T15:11:27Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• MMDR: A Result Feature Fusion Object Detection Approach for Autonomous System [5.499393552545591]
  提案手法は,MMDR (Multi-Modal Detector based based Result features) と呼ばれ,2次元と3次元の両方のオブジェクト検出タスクで動作するように設計されている。 MMDRモデルは、機能融合の段階で、浅いグローバルな特徴を取り入れ、背景情報を知覚する能力を持つモデルを提供する。
  論文  参考訳（メタデータ） (2023-04-19T12:28:42Z)
• SimDistill: Simulated Multi-modal Distillation for BEV 3D Object Detection [56.24700754048067]
  多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。 モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。 我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
  論文  参考訳（メタデータ） (2023-03-29T16:08:59Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。