論文の概要: DifFUSER: Diffusion Model for Robust Multi-Sensor Fusion in 3D Object Detection and BEV Segmentation

• arxiv url: http://arxiv.org/abs/2404.04629v2
• Date: Tue, 24 Sep 2024 06:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 03:26:10.501038
• Title: DifFUSER: Diffusion Model for Robust Multi-Sensor Fusion in 3D Object Detection and BEV Segmentation
• Title（参考訳）: DifFUSER:3次元物体検出とBEVセグメンテーションにおけるロバスト多センサ融合の拡散モデル
• Authors: Duy-Tho Le, Hengcan Shi, Jianfei Cai, Hamid Rezatofighi,
• Abstract要約: DifFは3次元オブジェクト検出とBEVマップセグメンテーションにおける多モード融合のための拡散モデルを利用する新しいアプローチである。 DifFは拡散の固有のノイズ発生特性から利点を生かし、センサーの故障時にセンサーの特徴を洗練または合成することができる。
• 参考スコア（独自算出の注目度）: 34.42067276754897
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Diffusion models have recently gained prominence as powerful deep generative models, demonstrating unmatched performance across various domains. However, their potential in multi-sensor fusion remains largely unexplored. In this work, we introduce DifFUSER, a novel approach that leverages diffusion models for multi-modal fusion in 3D object detection and BEV map segmentation. Benefiting from the inherent denoising property of diffusion, DifFUSER is able to refine or even synthesize sensor features in case of sensor malfunction, thereby improving the quality of the fused output. In terms of architecture, our DifFUSER blocks are chained together in a hierarchical BiFPN fashion, termed cMini-BiFPN, offering an alternative architecture for latent diffusion. We further introduce a Gated Self-conditioned Modulated (GSM) latent diffusion module together with a Progressive Sensor Dropout Training (PSDT) paradigm, designed to add stronger conditioning to the diffusion process and robustness to sensor failures. Our extensive evaluations on the Nuscenes dataset reveal that DifFUSER not only achieves state-of-the-art performance with a 70.04% mIOU in BEV map segmentation tasks but also competes effectively with leading transformer-based fusion techniques in 3D object detection.
• Abstract（参考訳）: 拡散モデルは最近、強力な深層生成モデルとして注目され、様々な領域で不整合性能を示している。 しかし、マルチセンサー融合のポテンシャルはほとんど未解明のままである。 本研究では,DifFUSERを提案する。DifFUSERは3次元オブジェクト検出とBEVマップセグメンテーションにおける多モード融合のための拡散モデルを利用する新しい手法である。 DifFUSERは拡散の固有のノイズ発生特性から恩恵を受け、センサの故障時にセンサー特性を洗練または合成することができ、融合出力の品質を向上させることができる。 アーキテクチャの面では、我々のDifFUSERブロックは、cMini-BiFPNと呼ばれる階層的なBiFPN方式でチェーンされ、潜在拡散の代替アーキテクチャを提供する。 さらに, Gated Self-conditioned Modulated (GSM) 潜伏拡散モジュールを, 拡散過程に強い条件付けを加え, センサ故障に堅牢性を加えるために, プログレッシブ・センサ・ドロップアウト・トレーニング (PSDT) パラダイムとともに導入する。 我々のNuscenesデータセットに関する広範な評価によると、DifFUSERは、BEVマップセグメンテーションタスクにおいて、70.04% mIOUで最先端のパフォーマンスを達成するだけでなく、3Dオブジェクト検出においてトランスフォーマーベースの融合技術と競合する。

関連論文リスト

• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• FSMDet: Vision-guided feature diffusion for fully sparse 3D detector [0.8437187555622164]
  FSMDet (Fully Sparse Multi-modal Detection) を提案する。 提案手法は,従来のSOTA法に比べて最大5倍効率がよい。
  論文  参考訳（メタデータ） (2024-09-11T01:55:45Z)
• Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
  Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。 近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。 本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
  論文  参考訳（メタデータ） (2023-12-18T09:52:14Z)
• FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection [14.457844173630667]
  本稿では,FusionFormerと呼ばれる,エンドツーエンドのマルチモーダル・フュージョン・トランスフォーマーベースのフレームワークを提案する。 均一なサンプリング戦略を開発することにより,2次元画像と3次元ボクセルの特徴を自発的に抽出することができる。 テスト時間増強を伴わない3次元物体検出タスクにおいて,72.6% mAP と 75.1% NDS の最先端シングルモデル性能を実現する。
  論文  参考訳（メタデータ） (2023-09-11T06:27:25Z)
• Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
  既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。 提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。 推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
  論文  参考訳（メタデータ） (2023-09-05T08:49:53Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models [58.357180353368896]
  本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。 我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
  論文  参考訳（メタデータ） (2023-01-10T13:15:42Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。