論文の概要: Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion

• arxiv url: http://arxiv.org/abs/2212.00564v3
• Date: Wed, 6 Dec 2023 02:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:39:43.035042
• Title: Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion
• Title（参考訳）: 教師なし3Dポイントクラウドコンプリートのためのシングルビュー画像の活用
• Authors: Lintai Wu, Qijian Zhang, Junhui Hou, and Yong Xu
• Abstract要約: Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。 2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。 我々の手法は、いくつかの教師付き手法に匹敵する性能を達成できる。
• 参考スコア（独自算出の注目度）: 53.93172686610741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point clouds captured by scanning devices are often incomplete due to occlusion. To overcome this limitation, point cloud completion methods have been developed to predict the complete shape of an object based on its partial input. These methods can be broadly classified as supervised or unsupervised. However, both categories require a large number of 3D complete point clouds, which may be difficult to capture. In this paper, we propose Cross-PCC, an unsupervised point cloud completion method without requiring any 3D complete point clouds. We only utilize 2D images of the complete objects, which are easier to capture than 3D complete and clean point clouds. Specifically, to take advantage of the complementary information from 2D images, we use a single-view RGB image to extract 2D features and design a fusion module to fuse the 2D and 3D features extracted from the partial point cloud. To guide the shape of predicted point clouds, we project the predicted points of the object to the 2D plane and use the foreground pixels of its silhouette maps to constrain the position of the projected points. To reduce the outliers of the predicted point clouds, we propose a view calibrator to move the points projected to the background into the foreground by the single-view silhouette image. To the best of our knowledge, our approach is the first point cloud completion method that does not require any 3D supervision. The experimental results of our method are superior to those of the state-of-the-art unsupervised methods by a large margin. Moreover, our method even achieves comparable performance to some supervised methods. We will make the source code publicly available at https://github.com/ltwu6/cross-pcc.
• Abstract（参考訳）: 走査デバイスによって捕獲される点雲はしばしば閉塞のため不完全である。 この制限を克服するために、その部分的な入力に基づいて物体の完全な形状を予測するために点雲補完法が開発された。 これらの手法は、教師なしまたは教師なしと広く分類できる。 しかし、どちらのカテゴリも大量の3d完全点雲を必要とするため、キャプチャは困難である。 本稿では,3次元完全点雲を必要としない非教師付き点雲補完手法であるCross-PCCを提案する。 3d completeやclean point cloudよりもキャプチャが容易な完全オブジェクトの2dイメージのみを利用する。 具体的には,2d画像からの補足情報を活用するために,単視点rgb画像を用いて2d特徴を抽出し,部分点クラウドから抽出した2d特徴と3d特徴を融合する融合モジュールを設計する。 予測された点雲の形状を導くために、予測された物体の点を2次元平面に投影し、シルエットマップの前景画素を用いて投影された点の位置を制約する。 予測された点雲の外れ値を減らすために,背景に投影された点を単一視点シルエット画像によりフォアグラウンドで移動させるビューキャリブレータを提案する。 私たちの知る限りでは、私たちのアプローチは3Dの監督を必要としない最初のポイントクラウド補完手法です。 本手法の実験結果は,最先端の非教師なし手法よりも大きなマージンで優れている。 さらに,本手法は教師付き手法と同等の性能を実現する。 ソースコードはhttps://github.com/ltwu6/cross-pcc.comで公開します。

関連論文リスト

• Adapt PointFormer: 3D Point Cloud Analysis via Adapting 2D Visual Transformers [38.08724410736292]
  本稿では,3次元ポイントクラウド解析の課題を達成するために,2次元事前知識を持つ事前学習モデルの活用を試みる。 本稿では,適応ポイントフォーマー (APF) を提案する。
  論文  参考訳（メタデータ） (2024-07-18T06:32:45Z)
• Self-supervised 3D Point Cloud Completion via Multi-view Adversarial Learning [61.14132533712537]
  我々は、オブジェクトレベルとカテゴリ固有の幾何学的類似性の両方を効果的に活用するフレームワークであるMAL-SPCを提案する。 私たちのMAL-SPCは3Dの完全な監視を一切必要とせず、各オブジェクトに1つの部分点クラウドを必要とするだけです。
  論文  参考訳（メタデータ） (2024-07-13T06:53:39Z)
• Intrinsic Image Decomposition Using Point Cloud Representation [13.771632868567277]
  本稿では3次元クラウドデータを利用してアルベドとシェーディングマップを同時に推定するPoint Intrinsic Net(PoInt-Net)を紹介する。 PoInt-Netは効率的で、任意のサイズのポイントクラウドで一貫したパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-07-20T14:51:28Z)
• CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding [2.8661021832561757]
  CrossPointは、転送可能な3Dポイントクラウド表現を学習するための、単純なクロスモーダルコントラスト学習アプローチである。 提案手法は,従来の教師なし学習手法よりも,3次元オブジェクト分類やセグメンテーションなど,さまざまな下流タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2022-03-01T18:59:01Z)
• Unsupervised Learning of Fine Structure Generation for 3D Point Clouds by 2D Projection Matching [66.98712589559028]
  微細な構造を持つ3次元点雲生成のための教師なしアプローチを提案する。 本手法は2次元シルエット画像から異なる解像度で微細な3次元構造を復元することができる。
  論文  参考訳（メタデータ） (2021-08-08T22:15:31Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
  2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。 本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。 我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
  論文  参考訳（メタデータ） (2020-05-05T04:25:16Z)
• ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes [93.82668222075128]
  RGB-Dシーンに対するImVoteNetと呼ばれる3次元検出アーキテクチャを提案する。 ImVoteNetは、画像に2D票、ポイントクラウドに3D票を投じることに基づいている。 挑戦的なSUN RGB-Dデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-01-29T05:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。