論文の概要: Efficient Multimodal 3D Object Detector via Instance-Level Contrastive Distillation

• arxiv url: http://arxiv.org/abs/2503.12914v1
• Date: Mon, 17 Mar 2025 08:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 14:56:58.171575
• Title: Efficient Multimodal 3D Object Detector via Instance-Level Contrastive Distillation
• Title（参考訳）: インスタンスレベルコントラスト蒸留による効率的なマルチモーダル3次元物体検出装置
• Authors: Zhuoqun Su, Huimin Lu, Shuaifeng Jiao, Junhao Xiao, Yaonan Wang, Xieyuanli Chen,
• Abstract要約: 提案したICDフレームワークとCLFM(Cross Linear Attention Fusion Module)を組み込んだ高速かつ効果的なマルチモーダル3Dオブジェクト検出器を提案する。 我々の3Dオブジェクト検出器は、より優れた効率を実現しつつ、最先端(SOTA)手法より優れています。
• 参考スコア（独自算出の注目度）: 17.634678949648208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal 3D object detectors leverage the strengths of both geometry-aware LiDAR point clouds and semantically rich RGB images to enhance detection performance. However, the inherent heterogeneity between these modalities, including unbalanced convergence and modal misalignment, poses significant challenges. Meanwhile, the large size of the detection-oriented feature also constrains existing fusion strategies to capture long-range dependencies for the 3D detection tasks. In this work, we introduce a fast yet effective multimodal 3D object detector, incorporating our proposed Instance-level Contrastive Distillation (ICD) framework and Cross Linear Attention Fusion Module (CLFM). ICD aligns instance-level image features with LiDAR representations through object-aware contrastive distillation, ensuring fine-grained cross-modal consistency. Meanwhile, CLFM presents an efficient and scalable fusion strategy that enhances cross-modal global interactions within sizable multimodal BEV features. Extensive experiments on the KITTI and nuScenes 3D object detection benchmarks demonstrate the effectiveness of our methods. Notably, our 3D object detector outperforms state-of-the-art (SOTA) methods while achieving superior efficiency. The implementation of our method has been released as open-source at: https://github.com/nubot-nudt/ICD-Fusion.
• Abstract（参考訳）: マルチモーダル3Dオブジェクト検出器は、幾何学的に認識されたLiDAR点雲と意味的にリッチなRGB画像の両方の強度を利用して検出性能を向上させる。 しかしながら、これらのモダリティ間の固有の不均一性は、不均衡収束やモダルの不整合を含む、重大な課題を提起する。 一方、検出指向機能の大きさは、既存の融合戦略を制約し、3D検出タスクの長距離依存関係をキャプチャする。 本研究では,高速かつ効果的なマルチモーダル3Dオブジェクト検出器を導入し,提案するICDフレームワークとCLFM(Cross Linear Attention Fusion Module)を組み込んだ。 ICDは、オブジェクト認識のコントラスト蒸留により、インスタンスレベルの画像特徴とLiDAR表現を整合させ、細粒度のクロスモーダル整合性を確保する。 一方、CLFMは、マルチモーダルなBEV機能内でのクロスモーダルなグローバルな相互作用を強化する、効率的でスケーラブルな融合戦略を提示する。 KITTIとnuScenesの3Dオブジェクト検出ベンチマークの大規模な実験により,本手法の有効性が示された。 特に、我々の3Dオブジェクト検出器は、より優れた効率を実現しつつ、最先端(SOTA)手法より優れています。 このメソッドの実装は、https://github.com/nubot-nudt/ICD-Fusion.comでオープンソースとしてリリースされた。

関連論文リスト

• Real-IAD D3: A Real-World 2D/Pseudo-3D/3D Dataset for Industrial Anomaly Detection [53.2590751089607]
  Real-IAD D3は高精度なマルチモーダルデータセットであり、フォトメトリックステレオによって生成された擬似3Dモダリティが組み込まれている。 本稿では,RGB,点雲,擬似3次元深度情報を統合し,各モードの相補的強度を活用する効果的な手法を提案する。 本実験は,検出の堅牢性向上とIAD全体の性能向上におけるこれらのモダリティの重要性を強調した。
  論文  参考訳（メタデータ） (2025-04-19T08:05:47Z)
• SSLFusion: Scale & Space Aligned Latent Fusion Model for Multimodal 3D Object Detection [24.367371441506116]
  ディープニューラルネットワークに基づくマルチモーダル3Dオブジェクト検出は、確かに大きな進歩を遂げている。 しかし,2次元画像から抽出した特徴と3次元点雲から抽出した特徴との間の空間的情報とスケールのずれにより,依然として課題に直面している。 本稿では,3次元から2次元の空間アライメントモジュールと,遅延モードの相互融合モジュールからなる,新しいスケール・スペースアラインド・ラテントフュージョンモデルであるSSLFusionを紹介する。
  論文  参考訳（メタデータ） (2025-04-07T15:15:06Z)
• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection [28.319440934322728]
  MV2DFusionは、高度なクエリベースの融合機構を通じて両方の世界の強みを統合するマルチモーダル検出フレームワークである。 私たちのフレームワークの柔軟性は、任意のイメージとポイントクラウドベースの検出器との統合を可能にし、その適応性と将来の進歩の可能性を示しています。
  論文  参考訳（メタデータ） (2024-08-12T06:46:05Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection [15.204935788297226]
  ODM3Dフレームワークは、トレーニング中にLiDARドメインの知識を単分子検出器に注入するために、様々なレベルでのクロスモーダルな知識蒸留を必要とする。 既存手法の準最適トレーニングの主要因として,前景の空間空間を同定することにより,LiDAR点に埋め込まれた正確な位置化情報を活用する。 KITTI検証とテストベンチマークの両方で1位にランクインし、教師付きまたは半教師付きである既存のモノクラー手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-10-28T07:12:09Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• SimDistill: Simulated Multi-modal Distillation for BEV 3D Object Detection [56.24700754048067]
  多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。 モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。 我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
  論文  参考訳（メタデータ） (2023-03-29T16:08:59Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
  SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。 ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。 本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
  論文  参考訳（メタデータ） (2021-12-03T13:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。