論文の概要: PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud by 2D Inpainting

• arxiv url: http://arxiv.org/abs/2406.15811v1
• Date: Sat, 22 Jun 2024 10:33:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:25:27.743886
• Title: PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud by 2D Inpainting
• Title（参考訳）: PointDreamer: 2Dインパインティングによる色付き点雲からのゼロショット3Dテクスチャメッシュ再構成
• Authors: Qiao Yu, Xianzhi Li, Yuan Tang, Jinfeng Xu, Long Hu, Yixue Hao, Min Chen,
• Abstract要約: 色のついたポイントクラウドからテクスチャ化されたメッシュを再構築することは、3Dグラフィックスとビジョンにおいて重要な課題である。 色付き点雲からテクスチャ化されたメッシュ再構築のための新しいフレームワークであるPointDreamerを提案する。 成熟した技術と2Dビジョンの膨大なデータを活用することにより、2D画像のインペイントにより、忠実さと明瞭さが向上したメッシュを生成する。
• 参考スコア（独自算出の注目度）: 18.44975150966385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing textured meshes from colored point clouds is an important but challenging task in 3D graphics and vision. Most existing methods predict colors as implicit functions in 3D or UV space, suffering from blurry textures or the lack of generalization capability. Addressing this, we propose PointDreamer, a novel framework for textured mesh reconstruction from colored point cloud. It produces meshes with enhanced fidelity and clarity by 2D image inpainting, taking advantage of the mature techniques and massive data of 2D vision. Specifically, we first project the input point cloud into 2D space to generate sparse multi-view images, and then inpaint empty pixels utilizing a pre-trained 2D diffusion model. Next, we design a novel Non-Border-First strategy to unproject the colors of the inpainted dense images back to 3D space, thus obtaining the final textured mesh. In this way, our PointDreamer works in a zero-shot manner, requiring no extra training. Extensive qualitative and quantitative experiments on various synthetic and real-scanned datasets show the SoTA performance of PointDreamer, by significantly outperforming baseline methods with 30\% improvement in LPIPS score (from 0.118 to 0.068). Code at: https://github.com/YuQiao0303/PointDreamer.
• Abstract（参考訳）: 色のついたポイントクラウドからテクスチャ化されたメッシュを再構築することは、3Dグラフィックスとビジョンにおいて重要な課題である。 既存のほとんどの手法は、ぼやけたテクスチャや一般化能力の欠如に苦しむ3DまたはUV空間における暗黙の関数として色を予測する。 そこで我々は,色付き点雲からテクスチャ化されたメッシュ再構築のための新しいフレームワークであるPointDreamerを提案する。 成熟した技術と2Dビジョンの膨大なデータを活用することで、2Dイメージのインペイントにより、忠実さと明瞭さを向上したメッシュを生成する。 具体的には、まず入力点雲を2次元空間に投影し、スパースなマルチビュー画像を生成し、事前訓練された2次元拡散モデルを用いて空のピクセルを塗布する。 次に,塗布された濃淡画像の色を3次元空間に戻して最終テクスチャメッシュを得る,新しい非境界ファースト戦略を設計する。 このように、PointDreamerはゼロショットで動作し、追加のトレーニングは不要です。 各種合成および実スキャンデータセットの大規模定性的および定量的実験は、LPIPSスコア(0.118から0.068)を30倍改善したベースライン法を著しく上回り、PointDreamerのSoTA性能を示す。 コードネームはhttps://github.com/YuQiao0303/PointDreamer。

関連論文リスト

• DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation [149.77077125310805]
  我々はDreamMeshを提案する。DreamMeshは、明確に定義された表面(三角形メッシュ)をピボットして高忠実な3Dモデルを生成する、新しいテキスト・ツー・3Dアーキテクチャである。 粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、その後DreamMeshは2D拡散モデルを用いてメッシュをテクスチャ化する。 細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。
  論文  参考訳（メタデータ） (2024-09-11T17:59:02Z)
• GaussianPU: A Hybrid 2D-3D Upsampling Framework for Enhancing Color Point Clouds via 3D Gaussian Splatting [11.60605616190011]
  ロボット知覚のための3Dガウススプラッティング(3DGS)に基づく2D-3Dハイブリッドカラークラウドサンプリングフレームワーク(GaussianPU)を提案する。 二重スケールレンダリング画像復元ネットワークは、スパースポイントクラウドレンダリングを密度表現に変換する。 バニラ3DGSに一連の改良を加え、ポイント数を正確に制御できるようにしました。
  論文  参考訳（メタデータ） (2024-09-03T03:35:04Z)
• LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes [52.31402192831474]
  しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。 ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。 LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
  論文  参考訳（メタデータ） (2023-11-22T13:27:34Z)
• Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields [63.21420081888606]
  最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。 我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
  論文  参考訳（メタデータ） (2023-03-29T06:26:55Z)
• Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
  本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。 特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。 本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-18T07:44:21Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes [93.82668222075128]
  RGB-Dシーンに対するImVoteNetと呼ばれる3次元検出アーキテクチャを提案する。 ImVoteNetは、画像に2D票、ポイントクラウドに3D票を投じることに基づいている。 挑戦的なSUN RGB-Dデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-01-29T05:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。