論文の概要: CAP-Net: Correspondence-Aware Point-view Fusion Network for 3D Shape
Analysis
- arxiv url: http://arxiv.org/abs/2109.01291v1
- Date: Fri, 3 Sep 2021 03:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 13:59:29.483092
- Title: CAP-Net: Correspondence-Aware Point-view Fusion Network for 3D Shape
Analysis
- Title(参考訳): CAP-Net:3次元形状解析のための対応型ポイントビュー融合ネットワーク
- Authors: Xinwei He, Silin Cheng, Song Bai, Xiang Bai
- Abstract要約: 対応型ポイントビューフュージョンネット(CAPNet)を提案する。
CAP-Netのコア要素はCAF(Cor correspondingence-Aware Fusion)と呼ばれるモジュールである。
CAFは2つのモードの局所的な特徴を対応スコアに基づいて統合する。
- 参考スコア(独自算出の注目度): 80.27460721735828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning 3D representations by fusing point cloud and multi-view data has
been proven to be fairly effective. While prior works typically focus on
exploiting global features of the two modalities, in this paper we argue that
more discriminative features can be derived by modeling "where to fuse". To
investigate this, we propose a novel Correspondence-Aware Point-view Fusion Net
(CAPNet). The core element of CAP-Net is a module named Correspondence-Aware
Fusion (CAF) which integrates the local features of the two modalities based on
their correspondence scores. We further propose to filter out correspondence
scores with low values to obtain salient local correspondences, which reduces
redundancy for the fusion process. In our CAP-Net, we utilize the CAF modules
to fuse the multi-scale features of the two modalities both bidirectionally and
hierarchically in order to obtain more informative features. Comprehensive
evaluations on popular 3D shape benchmarks covering 3D object classification
and retrieval show the superiority of the proposed framework.
- Abstract(参考訳): ポイントクラウドとマルチビューデータの融合による3d表現の学習は、かなり効果的であることが証明されている。
従来の研究は2つのモダリティのグローバルな特徴の活用に重点を置いていたが、本稿ではより差別的な特徴は「融合する場所」をモデル化することによって導き出すことができると論じている。
そこで本研究では,CAPNet(Correspondence-Aware Point-view Fusion Net)を提案する。
CAP-Netの中核となる要素はCAF(Correspondence-Aware Fusion)と呼ばれるモジュールで、2つのモードの局所的な特徴を対応スコアに基づいて統合する。
また,低値の対応スコアをフィルタリングして局所的局所対応を得る手法を提案し,融合過程の冗長性を低減させる。
CAP-Netでは,CAFモジュールを用いて双方向かつ階層的に2つのモードのマルチスケール特徴を融合させ,より情報的特徴を得る。
3次元オブジェクト分類と検索に関する一般的な3次元形状ベンチマークの総合評価は,提案手法の優位性を示している。
関連論文リスト
- MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。
特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。
本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
論文 参考訳(メタデータ) (2023-07-18T11:26:02Z) - Model-Agnostic Hierarchical Attention for 3D Object Detection [81.33112745926113]
変圧器を用いた3次元検出器のためのモジュラー化階層設計として,2つの新しい注意機構を提案する。
異なるスケールで機能学習を可能にするために,単一スケールの入力機能から複数スケールのトークンを構築するシンプルなマルチスケールアテンションを提案する。
局所的特徴集約のために,各バウンディングボックスの提案に対して適応的なアテンション範囲を持つサイズ適応型局所アテンションを提案する。
論文 参考訳(メタデータ) (2023-01-06T18:52:12Z) - Multi-Sem Fusion: Multimodal Semantic Fusion for 3D Object Detection [11.575945934519442]
LiDARとカメラ融合技術は、自律運転において3次元物体検出を実現することを約束している。
多くのマルチモーダルな3Dオブジェクト検出フレームワークは、2D画像からのセマンティック知識を3D LiDARポイントクラウドに統合する。
本稿では2次元画像と3次元ポイントシーン解析結果の両方から意味情報を融合する汎用多モード融合フレームワークであるMulti-Sem Fusion(MSF)を提案する。
論文 参考訳(メタデータ) (2022-12-10T10:54:41Z) - FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D
Object Detection [19.419030878019974]
構造化されていない3D点雲は2D平面に充填され、3D点雲はプロジェクション対応の畳み込み層を用いて高速に抽出される。
データ前処理において、異なるセンサ信号間の対応するインデックスを予め設定する。
2つの新しいプラグアンドプレイ融合モジュールLiCamFuseとBiLiCamFuseが提案されている。
論文 参考訳(メタデータ) (2022-09-15T16:13:19Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳(メタデータ) (2022-03-15T18:46:06Z) - MBDF-Net: Multi-Branch Deep Fusion Network for 3D Object Detection [17.295359521427073]
3次元物体検出のためのMulti-Branch Deep Fusion Network (MBDF-Net)を提案する。
最初の段階では、マルチブランチ機能抽出ネットワークは、Adaptive Attention Fusionモジュールを使用して、単一モーダルなセマンティックな特徴からクロスモーダルな融合機能を生成する。
第2段階では、関心領域(RoI)をプールした核融合モジュールを用いて局所的な特徴を改良する。
論文 参考訳(メタデータ) (2021-08-29T15:40:15Z) - Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。
我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。
SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2021-07-04T09:28:18Z) - Multi-View Adaptive Fusion Network for 3D Object Detection [14.506796247331584]
LiDAR-カメラ融合に基づく3Dオブジェクト検出は、自動運転の新たな研究テーマになりつつある。
本稿では,LiDARの鳥眼ビュー,LiDARレンジビュー,カメラビューイメージを3Dオブジェクト検出の入力として利用する,単一ステージ多視点融合フレームワークを提案する。
これら2つのコンポーネントを統合するために,MVAF-Netというエンドツーエンドの学習ネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-02T00:06:01Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。