論文の概要: E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning

• arxiv url: http://arxiv.org/abs/2311.18433v1
• Date: Thu, 30 Nov 2023 10:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 17:08:29.832779
• Title: E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning
• Title（参考訳）: e2pnet: 時空間表現学習によるクラウド登録イベント
• Authors: Xiuhong Lin, Changjie Qiu, Zhipeng Cai, Siqi Shen, Yu Zang, Weiquan Liu, Xuesheng Bian, Matthias M\"uller, Cheng Wang
• Abstract要約: イベント・ツー・ポイント・クラウド登録のための最初の学習手法であるE2PNetを提案する。 E2PNetのコアはEvent-Points-to-Tensor (EP2T)と呼ばれる新しい特徴表現ネットワークで、イベントデータを2Dグリッド型の特徴テンソルにエンコードする。 E2PNetは、イベントデータの使用により、極端な照明や高速な動きに対してより堅牢である。
• 参考スコア（独自算出の注目度）: 15.7009065576396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras have emerged as a promising vision sensor in recent years due to their unparalleled temporal resolution and dynamic range. While registration of 2D RGB images to 3D point clouds is a long-standing problem in computer vision, no prior work studies 2D-3D registration for event cameras. To this end, we propose E2PNet, the first learning-based method for event-to-point cloud registration. The core of E2PNet is a novel feature representation network called Event-Points-to-Tensor (EP2T), which encodes event data into a 2D grid-shaped feature tensor. This grid-shaped feature enables matured RGB-based frameworks to be easily used for event-to-point cloud registration, without changing hyper-parameters and the training procedure. EP2T treats the event input as spatio-temporal point clouds. Unlike standard 3D learning architectures that treat all dimensions of point clouds equally, the novel sampling and information aggregation modules in EP2T are designed to handle the inhomogeneity of the spatial and temporal dimensions. Experiments on the MVSEC and VECtor datasets demonstrate the superiority of E2PNet over hand-crafted and other learning-based methods. Compared to RGB-based registration, E2PNet is more robust to extreme illumination or fast motion due to the use of event data. Beyond 2D-3D registration, we also show the potential of EP2T for other vision tasks such as flow estimation, event-to-image reconstruction and object recognition. The source code can be found at: https://github.com/Xmu-qcj/E2PNet.
• Abstract（参考訳）: イベントカメラは、非平行時間分解能とダイナミックレンジのため、近年、有望な視覚センサとして登場している。 2D RGBイメージを3Dポイントクラウドに登録することは、コンピュータビジョンにおける長年の問題であるが、イベントカメラの2D-3Dイメージ登録に関する先行研究は存在しない。 そこで本研究では,イベント・ツー・ポイント・クラウド登録のための最初の学習手法であるE2PNetを提案する。 E2PNetのコアはEvent-Points-to-Tensor (EP2T)と呼ばれる新しい特徴表現ネットワークで、イベントデータを2Dグリッド型の特徴テンソルにエンコードする。 このグリッド型の機能は、ハイパーパラメータやトレーニング手順を変更することなく、成熟したrgbベースのフレームワークをイベントツーポイントのクラウド登録に簡単に使用できる。 EP2Tはイベント入力を時空間雲として扱う。 点雲のすべての次元を等しく扱う標準的な3D学習アーキテクチャとは異なり、EP2Tの新たなサンプリングおよび情報集約モジュールは、空間的および時間的次元の不均一性を扱うように設計されている。 mvsecおよびベクトルデータセットの実験は、手作りや他の学習に基づく方法よりもe2pnetが優れていることを示している。 RGBベースの登録と比較して、E2PNetはイベントデータを使用するため、極端な照明や速い動きに対してより堅牢である。 2d-3d登録以外にも,フロー推定やイベントツーイメージ再構成,オブジェクト認識など,他のビジョンタスクにおけるep2tの可能性も示す。 ソースコードはhttps://github.com/xmu-qcj/e2pnet。

関連論文リスト

• Spherical Frustum Sparse Convolution Network for LiDAR Point Cloud Semantic Segmentation [62.258256483231484]
  LiDARポイントクラウドセマンティックセグメンテーションにより、ロボットは周囲の環境のきめ細かいセマンティック情報を得ることができる。 多くの研究が2Dイメージ上にポイントクラウドを投影し、LiDARポイントクラウドセマンティックセグメンテーションのための2D畳み込みニューラルネットワーク(CNN)またはビジョントランスフォーマーを採用する。 本稿では,情報損失の定量化を回避するために,新しい球状フラストラム構造を提案する。
  論文  参考訳（メタデータ） (2023-11-29T09:55:13Z)
• PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration [6.030097207369754]
  本稿では,RGB画像と深度画像から生成された点雲との間に,マルチスケールの双方向融合を実現するネットワークを提案する。 提案手法は,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-09T08:13:46Z)
• End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization [45.81385500855306]
  我々は,新しいエンドツーエンド2D-3D登録ネットワークであるI2PNetを提案する。 I2PNetは、独自のターゲットを持つ差動モジュールを使用して、2D RGB画像で生の3Dポイントクラウドを直接登録する。 我々は,KITTIオドメトリーとnuScenesデータセットの広範囲なローカライゼーション実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T07:28:40Z)
• Point2Vec for Self-Supervised Representation Learning on Point Clouds [66.53955515020053]
  Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。 我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
  論文  参考訳（メタデータ） (2023-03-29T10:08:29Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• EPCL: Frozen CLIP Transformer is An Efficient Point Cloud Encoder [60.52613206271329]
  本稿では,冷凍CLIP変換器を用いて高品質のクラウドモデルをトレーニングするための textbfEfficient textbfPoint textbfCloud textbfLearning (EPCL) を提案する。 我々のEPCLは、2D-3Dデータをペア化せずに画像の特徴と点雲の特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。
  論文  参考訳（メタデータ） (2022-12-08T06:27:11Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。