論文の概要: PointSee: Image Enhances Point Cloud

• arxiv url: http://arxiv.org/abs/2211.01664v1
• Date: Thu, 3 Nov 2022 09:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:26:40.182734
• Title: PointSee: Image Enhances Point Cloud
• Title（参考訳）: PointSee:イメージがポイントクラウドを強化
• Authors: Lipeng Gu, Xuefeng Yan, Peng Cui, Lina Gong, Haoran Xie, Fu Lee Wang, Jin Qin, and Mingqiang Wei
• Abstract要約: 多様な3ODネットワークを実現するために,軽量でフレキシブルで効果的なマルチモーダル融合ソリューションを提案する。 ポイントシーは隠れモジュール (HM) と見たモジュール (SM) から構成される: HMは2D画像情報を用いて2D画像情報をオフライン融合方式でLiDAR点雲をデコレートする。 SMはさらに、ポイントワイドの代表的セマンティック機能を取得することで、LiDARポイントクラウドを強化し、既存の3ODネットワークの性能を向上する。
• 参考スコア（独自算出の注目度）: 30.87733851665404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a trend to fuse multi-modal information for 3D object detection (3OD). However, the challenging problems of low lightweightness, poor flexibility of plug-and-play, and inaccurate alignment of features are still not well-solved, when designing multi-modal fusion newtorks. We propose PointSee, a lightweight, flexible and effective multi-modal fusion solution to facilitate various 3OD networks by semantic feature enhancement of LiDAR point clouds assembled with scene images. Beyond the existing wisdom of 3OD, PointSee consists of a hidden module (HM) and a seen module (SM): HM decorates LiDAR point clouds using 2D image information in an offline fusion manner, leading to minimal or even no adaptations of existing 3OD networks; SM further enriches the LiDAR point clouds by acquiring point-wise representative semantic features, leading to enhanced performance of existing 3OD networks. Besides the new architecture of PointSee, we propose a simple yet efficient training strategy, to ease the potential inaccurate regressions of 2D object detection networks. Extensive experiments on the popular outdoor/indoor benchmarks show numerical improvements of our PointSee over twenty-two state-of-the-arts.
• Abstract（参考訳）: 3dオブジェクト検出のためのマルチモーダル情報を融合する傾向(3od)がある。 しかし,低軽量化,プラグアンドプレイの柔軟性の低下,不正確な機能アライメントといった問題はまだ解決されていない。 シーンイメージを組み込んだLiDAR点雲のセマンティックな特徴強化により,様々な3ODネットワークを容易にする軽量でフレキシブルで効果的なマルチモーダル融合ソリューションであるPointSeeを提案する。 HMは2D画像情報を用いて、オフラインの融合方式でLiDARポイントクラウドをデコレートし、既存の3ODネットワークを最小あるいは全く適応させ、SMは、ポイントワイドなセマンティック特徴を取得してLiDARポイントクラウドをさらに強化し、既存の3ODネットワークの性能を高める。 PointSeeの新しいアーキテクチャに加えて,2次元オブジェクト検出ネットワークの潜在的な不正確な回帰を緩和する,シンプルで効率的なトレーニング戦略を提案する。 ポピュラーな屋外/室内ベンチマークに関する大規模な実験は、20以上の最先端技術に対するPointSeeの数値的な改善を示している。

関連論文リスト

• PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
  点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。 PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。 PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
  論文  参考訳（メタデータ） (2024-08-26T19:43:01Z)
• FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection [19.419030878019974]
  構造化されていない3D点雲は2D平面に充填され、3D点雲はプロジェクション対応の畳み込み層を用いて高速に抽出される。 データ前処理において、異なるセンサ信号間の対応するインデックスを予め設定する。 2つの新しいプラグアンドプレイ融合モジュールLiCamFuseとBiLiCamFuseが提案されている。
  論文  参考訳（メタデータ） (2022-09-15T16:13:19Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion [31.52721107477401]
  現在のLiDARのみの3D検出方法は、必然的に点雲の間隔に悩まされる。 本稿では,奥行き完了から発生する疑似点雲を利用した,新しいマルチモーダルフレームワークSFD(Sparse Fuse Dense)を提案する。 本手法は, SFD の有効性を実証し, 3D オブジェクト検出リーダボードのKITTI カーにおける最上位項目を保持する。
  論文  参考訳（メタデータ） (2022-03-18T07:56:35Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation [81.08111209632501]
  長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。 ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。 我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-03-24T03:24:46Z)
• RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
  本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。 提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-09-09T20:23:27Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。