論文の概要: EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2007.08856v1
• Date: Fri, 17 Jul 2020 09:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 14:06:02.551330
• Title: EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection
• Title（参考訳）: EPNet:3Dオブジェクト検出のためのイメージセマンティクスによるポイント機能強化
• Authors: Tengteng Huang, Zhe Liu, Xiwu Chen and Xiang Bai
• Abstract要約: 我々は,複数のセンサの活用を含む,3次元検出タスクにおける2つの重要な課題に対処することを目指している。 本稿では,画像アノテーションを使わずに,意味的な画像特徴をポイントワイズで拡張する新たな融合モジュールを提案する。 これら2つのコンポーネントを統合するために,EPNetというエンドツーエンドで学習可能なフレームワークを設計する。
• 参考スコア（独自算出の注目度）: 60.097873683615695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we aim at addressing two critical issues in the 3D detection task, including the exploitation of multiple sensors~(namely LiDAR point cloud and camera image), as well as the inconsistency between the localization and classification confidence. To this end, we propose a novel fusion module to enhance the point features with semantic image features in a point-wise manner without any image annotations. Besides, a consistency enforcing loss is employed to explicitly encourage the consistency of both the localization and classification confidence. We design an end-to-end learnable framework named EPNet to integrate these two components. Extensive experiments on the KITTI and SUN-RGBD datasets demonstrate the superiority of EPNet over the state-of-the-art methods. Codes and models are available at: \url{https://github.com/happinesslz/EPNet}.
• Abstract（参考訳）: 本稿では,複数のセンサ(LiDAR点雲とカメラ画像)の活用や,局所化と分類信頼性の整合性など,3次元検出タスクにおける2つの重要な課題に対処することを目的とする。 そこで本稿では,画像アノテーションを使わずに,意味的特徴を伴う点特徴をポイントワイズで拡張する新たな融合モジュールを提案する。 さらに、局所化と分類の信頼性の両方の一貫性を明示的に奨励するために、損失を強制する一貫性が用いられる。 これら2つのコンポーネントを統合するために,EPNetというエンドツーエンドで学習可能なフレームワークを設計する。 KITTIとSUN-RGBDデータセットの大規模な実験は、最先端の手法よりもEPNetの方が優れていることを示している。 コードとモデルは \url{https://github.com/happinesslz/epnet} で利用可能である。

関連論文リスト

• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
  本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。 我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。 SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-04T09:28:18Z)
• Segmenting 3D Hybrid Scenes via Zero-Shot Learning [13.161136148641813]
  この研究は、ゼロショット学習の枠組みの下で、3Dハイブリッドシーンのポイントクラウドセマンティックセマンティックセマンティクスの問題に取り組むことを目的としている。 本稿では、PFNetと呼ばれる、オブジェクトの様々なクラスに対するポイント特徴を、見えていないクラスと見えないクラスの両方のセマンティック特徴を利用して合成するネットワークを提案する。 提案したPFNet は点特徴を合成するために GAN アーキテクチャを用いており、新しい意味正規化器を適用することにより、目に見えるクラスと目に見えないクラスの特徴のセマンティックな関係が統合される。 本研究では,S3DISデータセットとScanNetデータセットを6つの異なるデータ分割で再編成し,アルゴリズム評価のための2つのベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-07-01T13:21:49Z)
• P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching [78.18641868402901]
  この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
  論文  参考訳（メタデータ） (2021-03-01T14:59:40Z)
• Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
  本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。 我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
  論文  参考訳（メタデータ） (2020-12-20T18:43:41Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。