論文の概要: Unsupervised Learning of Fine Structure Generation for 3D Point Clouds by 2D Projection Matching

• arxiv url: http://arxiv.org/abs/2108.03746v1
• Date: Sun, 8 Aug 2021 22:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:22:39.542713
• Title: Unsupervised Learning of Fine Structure Generation for 3D Point Clouds by 2D Projection Matching
• Title（参考訳）: 2次元投影マッチングによる3次元点雲の微細構造生成の教師なし学習
• Authors: Chen Chao and Zhizhong Han and Yu-Shen Liu and Matthias Zwicker
• Abstract要約: 微細な構造を持つ3次元点雲生成のための教師なしアプローチを提案する。 本手法は2次元シルエット画像から異なる解像度で微細な3次元構造を復元することができる。
• 参考スコア（独自算出の注目度）: 66.98712589559028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to generate 3D point clouds without 3D supervision is an important but challenging problem. Current solutions leverage various differentiable renderers to project the generated 3D point clouds onto a 2D image plane, and train deep neural networks using the per-pixel difference with 2D ground truth images. However, these solutions are still struggling to fully recover fine structures of 3D shapes, such as thin tubes or planes. To resolve this issue, we propose an unsupervised approach for 3D point cloud generation with fine structures. Specifically, we cast 3D point cloud learning as a 2D projection matching problem. Rather than using entire 2D silhouette images as a regular pixel supervision, we introduce structure adaptive sampling to randomly sample 2D points within the silhouettes as an irregular point supervision, which alleviates the consistency issue of sampling from different view angles. Our method pushes the neural network to generate a 3D point cloud whose 2D projections match the irregular point supervision from different view angles. Our 2D projection matching approach enables the neural network to learn more accurate structure information than using the per-pixel difference, especially for fine and thin 3D structures. Our method can recover fine 3D structures from 2D silhouette images at different resolutions, and is robust to different sampling methods and point number in irregular point supervision. Our method outperforms others under widely used benchmarks. Our code, data and models are available at https://github.com/chenchao15/2D\_projection\_matching.
• Abstract（参考訳）: 3Dの監督なしに3Dポイントクラウドを生成することを学ぶことは重要だが、難しい問題だ。 現在のソリューションでは、さまざまな微分可能なレンダラを活用して、生成された3dポイントクラウドを2dイメージプレーンに投影し、ピクセル単位の差分と2dグランド真実イメージを使用してディープニューラルネットワークをトレーニングする。 しかし、これらの溶液は薄いチューブや平面のような3d形状の微細な構造を完全に回復するのに苦戦している。 この問題を解決するために,細かな構造を持つ3次元点雲生成のための教師なしアプローチを提案する。 具体的には,2次元投影マッチング問題として3Dポイントクラウド・ラーニングを挙げた。 2次元シルエット画像全体を通常の画素監視として使用するのではなく、無作為な点監督としてシルエット内の2次元点をランダムにサンプリングする構造適応サンプリングを導入し、異なる角度からのサンプリングの一貫性問題を緩和する。 提案手法はニューラルネットワークに2次元投影が異なる視点から不規則な点監督と一致する3次元点雲を生成する。 2次元投影マッチングアプローチにより,ニューラルネットワークはピクセル単位の差,特に微細で薄い3d構造を用いた場合よりも正確な構造情報を得ることができる。 異なる解像度で2次元シルエット画像から微細な3次元構造を復元でき,不規則な点監督において異なるサンプリング法と点数に頑健である。 本手法は広く使用されているベンチマークで他の手法よりも優れている。 私たちのコード、データ、モデルはhttps://github.com/chenchao15/2d\_projection\_matchingで利用可能です。

関連論文リスト

• Robust 3D Point Clouds Classification based on Declarative Defenders [18.51700931775295]
  3Dポイントの雲は非構造的でスパースであり、2Dイメージは構造的で密度が高い。 本稿では,3次元点雲を2次元画像にマッピングする3つの異なるアルゴリズムについて検討する。 提案手法は敵攻撃に対する高い精度と堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-13T01:32:38Z)
• EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization [44.05930316729542]
  本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。 画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。 このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
  論文  参考訳（メタデータ） (2023-09-14T07:06:36Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion [53.93172686610741]
  Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。 2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。 我々の手法は、いくつかの教師付き手法に匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2022-12-01T15:11:21Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding [2.8661021832561757]
  CrossPointは、転送可能な3Dポイントクラウド表現を学習するための、単純なクロスモーダルコントラスト学習アプローチである。 提案手法は,従来の教師なし学習手法よりも,3次元オブジェクト分類やセグメンテーションなど,さまざまな下流タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2022-03-01T18:59:01Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
  2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。 本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。 我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
  論文  参考訳（メタデータ） (2020-05-05T04:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。