論文の概要: IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration
- arxiv url: http://arxiv.org/abs/2111.09624v1
- Date: Thu, 18 Nov 2021 11:07:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-19 14:16:48.612806
- Title: IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration
- Title（参考訳）: IMFNet: ポイントクラウド登録のための解釈可能なマルチモーダルフュージョン
- Authors: Xiaoshui Huang, Wentao Qu, Yifan Zuo, Yuming Fang, Xiaowei Zhao
- Abstract要約: 構造情報とテクスチャ情報の両方を考慮し,ポイントクラウド登録記述子を生成する新しい手法を提案する。
さらに,最終記述子に寄与する原点を説明するための解釈可能なモジュールを提案する。
3DMatch、3DLoMatch、KITTIの実験では、マルチモーダルフュージョンディスクリプタが最先端の精度を達成し、ディスクリプタの特異性を向上することを示した。
- 参考スコア（独自算出の注目度）: 32.81840967468871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing state-of-the-art point descriptor relies on structure
information only, which omit the texture information. However, texture
information is crucial for our humans to distinguish a scene part. Moreover,
the current learning-based point descriptors are all black boxes which are
unclear how the original points contribute to the final descriptor. In this
paper, we propose a new multimodal fusion method to generate a point cloud
registration descriptor by considering both structure and texture information.
Specifically, a novel attention-fusion module is designed to extract the
weighted texture information for the descriptor extraction. In addition, we
propose an interpretable module to explain the original points in contributing
to the final descriptor. We use the descriptor element as the loss to
backpropagate to the target layer and consider the gradient as the significance
of this point to the final descriptor. This paper moves one step further to
explainable deep learning in the registration task. Comprehensive experiments
on 3DMatch, 3DLoMatch and KITTI demonstrate that the multimodal fusion
descriptor achieves state-of-the-art accuracy and improve the descriptor's
distinctiveness. We also demonstrate that our interpretable module in
explaining the registration descriptor extraction.
- Abstract（参考訳）: 既存の最先端のディスクリプタは、テクスチャ情報を省略する構造情報のみに依存している。
しかし, テクスチャ情報は人間にとって, シーン部分の識別に不可欠である。
さらに、現在の学習ベースのポイントディスクリプタはすべてブラックボックスであり、元のポイントが最終的なディスクリプタにどのように寄与するかは不明だ。
本稿では,構造情報とテクスチャ情報の両方を考慮して,ポイントクラウド登録記述子を生成するマルチモーダル融合手法を提案する。
具体的には、ディスクリプタ抽出のための重み付けテクスチャ情報を抽出する新しい注意融合モジュールを設計する。
さらに,最終的な記述子への寄与点を説明するための解釈可能なモジュールを提案する。
我々は、デクリプタ要素を損失としてターゲット層にバックプロパゲートし、その勾配を最終記述子に対するこの点の意義とみなす。
本稿では,登録タスクにおける説明可能な深層学習に一歩前進する。
3DMatch, 3DLoMatch, KITTIの総合的な実験により、マルチモーダル融合記述子は最先端の精度を達成し、記述子の特異性を向上することを示した。
また、登録記述子抽出を説明する際の解釈可能なモジュールについても示す。
関連論文リスト
- Residual Learning for Image Point Descriptors [56.917951170421894]
本稿では,手作りの検出器とディスクリプタを用いて局所画像記述子を学習する,非常にシンプルで効果的な手法を提案する。
我々は,手書き記述子にすでに存在する知識を活用することで,最終記述子を最適化する。
本手法は,非微分関数を用いたアンサンブル学習や学習に応用できる可能性がある。
論文 参考訳（メタデータ） (2023-12-24T12:51:30Z) - Learning a Task-specific Descriptor for Robust Matching of 3D Point
Clouds [40.81429160296275]
我々は、干渉下での正しい点対応を一貫して記述するために、頑健なタスク固有の特徴記述子を学習する。
EDFNetは2つの側面から発展し,まず,その反復的局所構造を利用して対応性を向上させる。
論文 参考訳（メタデータ） (2022-10-26T17:57:23Z) - UPDesc: Unsupervised Point Descriptor Learning for Robust Registration [54.95201961399334]
UPDescは、ロバストポイントクラウド登録のためのポイント記述子を学習するための教師なしの方法である。
学習した記述子は既存の教師なし手法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2021-08-05T17:11:08Z) - SSC: Semantic Scan Context for Large-Scale Place Recognition [13.228580954956342]
我々は、記述子の表現能力を向上させるために、高レベルの機能、すなわち意味論の利用について検討する。
本稿では,シーンをより効果的に表現するための意味情報を探る,新しいグローバルな記述子Semantic Scan Contextを提案する。
我々の手法は最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2021-07-01T11:51:19Z) - Graphite: GRAPH-Induced feaTure Extraction for Point Cloud Registration [80.69255347486693]
我々は、シンプルな機能とキーポイント検出器である Graph-induced feaTure extract Pipeline を導入する。
我々は,点クラウド領域を記述し,有意な点を抽出する汎用的なグラフベース学習手法を構築した。
我々は3Dキーポイントパイプラインをグラフニューラルネットワークで再構成し、ポイントセットの効率的な処理を可能にする。
論文 参考訳（メタデータ） (2020-10-18T19:41:09Z) - End-to-End Learning Local Multi-view Descriptors for 3D Point Clouds [67.27510166559563]
3Dポイントクラウドのためのローカルなマルチビュー記述子を学習するためのエンドツーエンドフレームワークを提案する。
本手法は,既存の局所記述子を定量的かつ定性的に上回る。
論文 参考訳（メタデータ） (2020-03-12T15:41:34Z) - MGCN: Descriptor Learning using Multiscale GCNs [50.14172863706108]
グラフウェーブレットを用いて表面上のディリクレエネルギーを分解する新しい非学習的特徴を示す。
また,新たなグラフ畳み込みネットワーク (MGCN) を提案し,非学習的特徴をより差別的な記述子に変換する。
論文 参考訳（メタデータ） (2020-01-28T17:25:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。