論文の概要: PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration

• arxiv url: http://arxiv.org/abs/2308.04782v1
• Date: Wed, 9 Aug 2023 08:13:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:32:23.518486
• Title: PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration
• Title（参考訳）: PointMBF: 教師なしRGB-D Point Cloud登録のためのマルチスケール双方向統合ネットワーク
• Authors: Mingzhi Yuan, Kexue Fu, Zhihao Li, Yucong Meng, Manning Wang
• Abstract要約: 本稿では,RGB画像と深度画像から生成された点雲との間に,マルチスケールの双方向融合を実現するネットワークを提案する。 提案手法は,新しい最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 6.030097207369754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud registration is a task to estimate the rigid transformation between two unaligned scans, which plays an important role in many computer vision applications. Previous learning-based works commonly focus on supervised registration, which have limitations in practice. Recently, with the advance of inexpensive RGB-D sensors, several learning-based works utilize RGB-D data to achieve unsupervised registration. However, most of existing unsupervised methods follow a cascaded design or fuse RGB-D data in a unidirectional manner, which do not fully exploit the complementary information in the RGB-D data. To leverage the complementary information more effectively, we propose a network implementing multi-scale bidirectional fusion between RGB images and point clouds generated from depth images. By bidirectionally fusing visual and geometric features in multi-scales, more distinctive deep features for correspondence estimation can be obtained, making our registration more accurate. Extensive experiments on ScanNet and 3DMatch demonstrate that our method achieves new state-of-the-art performance. Code will be released at https://github.com/phdymz/PointMBF
• Abstract（参考訳）: ポイントクラウド登録は、2つの非整列スキャン間の剛性変換を推定するタスクであり、多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。 以前の学習に基づく作品は、実際には制限のある教師付き登録にフォーカスしている。 近年,安価なrgb-dセンサが開発され,rgb-dデータを用いて教師なし登録ができるようになった。 しかし、既存の教師なしの手法のほとんどは、rgb-dデータの補足情報を十分に活用しない一方向的な設計、またはrgb-dデータを融合する。 そこで本研究では,rgb画像と深度画像から生成した点雲との多元的双方向融合を実現するネットワークを提案する。 マルチスケールで視覚的特徴と幾何学的特徴を双方向に融合させることにより、対応推定のためのより独特な深い特徴を得ることができる。 ScanNetと3DMatchの大規模な実験により,本手法が新たな最先端性能を実現することを示す。 コードはhttps://github.com/phdymz/PointMBFでリリースされる

関連論文リスト

• DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation [76.81628995237058]
  DFormerは、RGB-Dセグメンテーションタスクの転送可能な表現を学ぶための新しいフレームワークである。 ImageNet-1Kから画像深度ペアを使用してバックボーンを事前トレーニングする。 DFormerは2つのRGB-Dタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-18T11:09:11Z)
• Improving RGB-D Point Cloud Registration by Learning Multi-scale Local Linear Transformation [38.64501645574878]
  ポイントクラウド登録は、2つのポイントクラウドスキャン間の幾何学的変換を推定することを目的としている。 近年,RGB-Dデータをより正確な対応に利用しようと試みている。 マルチスケールな局所線形変換を用いたGAVE(Geometry-Aware Visual Feature Extractor)を提案する。
  論文  参考訳（メタデータ） (2022-08-31T14:36:09Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Modality-Guided Subnetwork for Salient Object Detection [5.491692465987937]
  ほとんどのRGBDネットワークは、入力側から複数のモダリティを必要とし、それらを2ストリームの設計で別々に供給する。 本稿では、モダリティ誘導サブネットワーク(MGSnet)と呼ばれる新しい融合設計を提案する。 1)RGBデータとRGBDデータの両方で機能し、使用できない場合の深度を動的に推定する。
  論文  参考訳（メタデータ） (2021-10-10T20:59:11Z)
• RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
  既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。 本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-15T12:31:27Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Cascade Graph Neural Networks for RGB-D Salient Object Detection [41.57218490671026]
  色情報と深度情報の両方を用いて,RGB-D画像に対する正当性物体検出(SOD)の問題点を考察する。 この2つのデータソース間の相互利益を総合的に蒸留し推論できる統合フレームワークであるCascade Graph Neural Networks(Cas-Gnn)を紹介する。 Cas-Gnnは、いくつかの広く使用されているベンチマークにおいて、既存のRGB-DSODアプローチよりも大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2020-08-07T10:59:04Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
  本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。 5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2020-05-30T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。