論文の概要: CMF-IoU: Multi-Stage Cross-Modal Fusion 3D Object Detection with IoU Joint Prediction

• arxiv url: http://arxiv.org/abs/2508.12917v1
• Date: Mon, 18 Aug 2025 13:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.356284
• Title: CMF-IoU: Multi-Stage Cross-Modal Fusion 3D Object Detection with IoU Joint Prediction
• Title（参考訳）: CMF-IoU:IoUジョイント予測を用いた多段クロスモーダル核融合3次元物体検出
• Authors: Zhiwei Ning, Zhaojiang Liu, Xuanang Gao, Yifan Zuo, Jie Yang, Yuming Fang, Wei Liu,
• Abstract要約: カメラとLiDARセンサーに基づくマルチモーダル手法は、3D検出の分野で大きな注目を集めている。 CMF-IOUと呼ばれる多段階の相互融合3D検出フレームワークを導入し,3次元空間情報と2次元意味情報を整合させることの課題に対処する。
• 参考スコア（独自算出の注目度）: 29.7092783661859
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-modal methods based on camera and LiDAR sensors have garnered significant attention in the field of 3D detection. However, many prevalent works focus on single or partial stage fusion, leading to insufficient feature extraction and suboptimal performance. In this paper, we introduce a multi-stage cross-modal fusion 3D detection framework, termed CMF-IOU, to effectively address the challenge of aligning 3D spatial and 2D semantic information. Specifically, we first project the pixel information into 3D space via a depth completion network to get the pseudo points, which unifies the representation of the LiDAR and camera information. Then, a bilateral cross-view enhancement 3D backbone is designed to encode LiDAR points and pseudo points. The first sparse-to-distant (S2D) branch utilizes an encoder-decoder structure to reinforce the representation of sparse LiDAR points. The second residual view consistency (ResVC) branch is proposed to mitigate the influence of inaccurate pseudo points via both the 3D and 2D convolution processes. Subsequently, we introduce an iterative voxel-point aware fine grained pooling module, which captures the spatial information from LiDAR points and textural information from pseudo points in the proposal refinement stage. To achieve more precise refinement during iteration, an intersection over union (IoU) joint prediction branch integrated with a novel proposals generation technique is designed to preserve the bounding boxes with both high IoU and classification scores. Extensive experiments show the superior performance of our method on the KITTI, nuScenes and Waymo datasets.
• Abstract（参考訳）: カメラとLiDARセンサーに基づくマルチモーダル手法は、3D検出の分野で大きな注目を集めている。 しかし、多くの代表的な作品は単一または部分的な段階融合に焦点を当てており、特徴抽出と準最適性能は不十分である。 本稿では, CMF-IOUと呼ばれる多段階の相互融合3D検出フレームワークを導入し, 3次元空間情報と2次元意味情報の整合化の課題を効果的に解決する。 具体的には,まず,この画素情報を3次元空間に投影し,擬似点の取得を行い,LiDARとカメラ情報の統一化を行う。 次に、LiDAR点と擬似点を符号化するために、双方向のクロスビュー3Dバックボーンを設計する。 最初のスパース・トゥ・ディスタント(S2D)分岐は、エンコーダ・デコーダ構造を用いて、スパースLiDAR点の表現を強化する。 第2の残留ビュー整合性(ResVC)分岐は、3Dと2Dの畳み込み過程を通じて不正確な擬似点の影響を軽減するために提案される。 次に,提案手法では,LiDAR点からの空間情報と疑似点からのテクスチャ情報を抽出する,反復的なボクセル点認識細粒度プールモジュールを提案する。 提案手法と統合された結合予測分岐(IoU)は,高いIoUと分類スコアの両方で境界ボックスを保存できるように設計されている。 大規模な実験により、KITTI、nuScenes、Waymoデータセット上での手法の優れた性能が示された。

関連論文リスト

• LDRFusion: A LiDAR-Dominant multimodal refinement framework for 3D object detection [5.6537425944368405]
  既存のLiDAR-Camera融合法は3次元物体検出において大きな成果を上げている。 我々は,LDRFusionを提案する。LDRFusionは,マルチセンサフュージョンのための新しい2段階改良フレームワークである。 当社のフレームワークは,複数のカテゴリと難易度をまたいだパフォーマンスを継続的に達成しています。
  論文  参考訳（メタデータ） (2025-07-22T04:35:52Z)
• NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized Device Coordinates Space [77.6067460464962]
  SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。 我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。 シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
  論文  参考訳（メタデータ） (2023-09-26T02:09:52Z)
• Unleash the Potential of Image Branch for Cross-modal 3D Object Detection [67.94357336206136]
  画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。 まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。 第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
  論文  参考訳（メタデータ） (2023-01-22T08:26:58Z)
• Multi-Sem Fusion: Multimodal Semantic Fusion for 3D Object Detection [11.575945934519442]
  LiDARとカメラ融合技術は、自律運転において3次元物体検出を実現することを約束している。 多くのマルチモーダルな3Dオブジェクト検出フレームワークは、2D画像からのセマンティック知識を3D LiDARポイントクラウドに統合する。 本稿では2次元画像と3次元ポイントシーン解析結果の両方から意味情報を融合する汎用多モード融合フレームワークであるMulti-Sem Fusion(MSF)を提案する。
  論文  参考訳（メタデータ） (2022-12-10T10:54:41Z)
• FusionRCNN: LiDAR-Camera Fusion for Two-stage 3D Object Detection [11.962073589763676]
  既存の3D検出器は、2段階のパラダイムを採用することで精度を大幅に向上させる。 特に遠く離れた地点では、点雲の広がりは、LiDARのみの精製モジュールがオブジェクトを正確に認識し、配置することを困難にしている。 We propose a novel multi-modality two-stage approach called FusionRCNN, which is effective and efficient fuses point clouds and camera image in the Regions of Interest(RoI)。 FusionRCNNは、強力なSECONDベースラインを6.14%のmAPで大幅に改善し、競合する2段階アプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-09-22T02:07:25Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• M3DSSD: Monocular 3D Single Stage Object Detector [82.25793227026443]
  特徴アライメントと非対称非局所的注意を有するモノクロ3次元単段物体検出器(M3DSSD)を提案する。 提案したM3DSSDは,KITTIデータセット上のモノラルな3Dオブジェクト検出手法よりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2021-03-24T13:09:11Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。