論文の概要: PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud

• arxiv url: http://arxiv.org/abs/2406.15811v2
• Date: Wed, 08 Jan 2025 15:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:53:30.397454
• Title: PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud
• Title（参考訳）: PointDreamer:色付きポイントクラウドからゼロショット3Dテクスチャメッシュを再構築
• Authors: Qiao Yu, Xianzhi Li, Yuan Tang, Xu Han, Jinfeng Xu, Long Hu, Min Chen,
• Abstract要約: 色のついたポイントクラウドからテクスチャ化されたメッシュを再構築することは重要な作業ですが、難しい作業です。 拡散型2Dインペインティングによる色付き点雲からのテクスチャメッシュ再構築のための新しいフレームワークであるPointDreamerを提案する。 広範囲な2次元データに基づいて事前訓練された強力な2次元拡散モデルのおかげで、PointDreamerは、スパースやノイズの多い入力に対して高い堅牢性を持つ透明で高品質なテクスチャを再構築する。
• 参考スコア（独自算出の注目度）: 21.224318910715777
• License:
• Abstract: Reconstructing textured meshes from colored point clouds is an important but challenging task. Most existing methods yield blurry-looking textures or rely on 3D training data that are hard to acquire. Regarding this, we propose PointDreamer, a novel framework for textured mesh reconstruction from colored point cloud via diffusion-based 2D inpainting. Specifically, we first reconstruct an untextured mesh. Next, we project the input point cloud into 2D space to generate sparse multi-view images, and then inpaint empty pixels utilizing a pre-trained 2D diffusion model. After that, we unproject the colors of the inpainted dense images onto the untextured mesh, thus obtaining the final textured mesh. This project-inpaint-unproject pipeline bridges the gap between 3D point clouds and 2D diffusion models for the first time. Thanks to the powerful 2D diffusion model pre-trained on extensive 2D data, PointDreamer reconstructs clear, high-quality textures with high robustness to sparse or noisy input. Also, it's zero-shot requiring no extra training. In addition, we design Non-Border-First unprojection strategy to address the border-area inconsistency issue, which is less explored but commonly-occurred in methods that generate 3D textures from multiview images. Extensive qualitative and quantitative experiments on various synthetic and real-scanned datasets show the SoTA performance of PointDreamer, by significantly outperforming baseline methods with 30% improvement in LPIPS score (from 0.118 to 0.068). Code at: https://github.com/YuQiao0303/PointDreamer.
• Abstract（参考訳）: 色のついたポイントクラウドからテクスチャ化されたメッシュを再構築することは重要な作業ですが、難しい作業です。 既存のほとんどの手法はぼやけたテクスチャを作り出すか、取得が難しい3Dトレーニングデータに依存している。 そこで本研究では,拡散型2Dインペインティングによる色付き点雲からのテクスチャメッシュ再構築のための新しいフレームワークであるPointDreamerを提案する。 具体的には、まず最初に、テクスチャのないメッシュを再構築する。 次に、入力点雲を2次元空間に投影し、スパースなマルチビュー画像を生成し、事前学習された2次元拡散モデルを用いて空のピクセルを塗布する。 その後、塗布された濃厚画像の色を無テクスチャメッシュに切り離し、最終的なテクスチャメッシュを得る。 このプロジェクトでは、初めて3Dポイントクラウドと2D拡散モデルの間のギャップを埋める。 広範囲な2次元データに基づいて事前訓練された強力な2次元拡散モデルのおかげで、PointDreamerは、スパースやノイズの多い入力に対して高い堅牢性を持つ透明で高品質なテクスチャを再構築する。 また、余分なトレーニングを必要とせず、ゼロショットです。 さらに,マルチビュー画像から3次元テクスチャを生成する手法において,境界領域の不整合問題に対処するノンボーダーファースト・アンプロジェクション戦略を設計する。 各種合成および実スキャンデータセットの大規模定性的および定量的実験は、LPIPSスコアを30%改善したベースライン法(0.118から0.068)を著しく上回り、PointDreamerのSoTA性能を示す。 コードネームはhttps://github.com/YuQiao0303/PointDreamer。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation [149.77077125310805]
  我々はDreamMeshを提案する。DreamMeshは、明確に定義された表面(三角形メッシュ)をピボットして高忠実な3Dモデルを生成する、新しいテキスト・ツー・3Dアーキテクチャである。 粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、その後DreamMeshは2D拡散モデルを用いてメッシュをテクスチャ化する。 細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。
  論文  参考訳（メタデータ） (2024-09-11T17:59:02Z)
• GaussianPU: A Hybrid 2D-3D Upsampling Framework for Enhancing Color Point Clouds via 3D Gaussian Splatting [11.60605616190011]
  ロボット知覚のための3Dガウススプラッティング(3DGS)に基づく2D-3Dハイブリッドカラークラウドサンプリングフレームワーク(GaussianPU)を提案する。 二重スケールレンダリング画像復元ネットワークは、スパースポイントクラウドレンダリングを密度表現に変換する。 バニラ3DGSに一連の改良を加え、ポイント数を正確に制御できるようにしました。
  論文  参考訳（メタデータ） (2024-09-03T03:35:04Z)
• LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
  大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。 彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。 生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:09:12Z)
• Consistent Mesh Diffusion [8.318075237885857]
  UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。 当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
  論文  参考訳（メタデータ） (2023-12-01T23:25:14Z)
• Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields [63.21420081888606]
  最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。 我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
  論文  参考訳（メタデータ） (2023-03-29T06:26:55Z)
• Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
  本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。 特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。 本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-18T07:44:21Z)
• SE-MD: A Single-encoder multiple-decoder deep network for point cloud generation from 2D images [2.4087148947930634]
  単一の2D RGB画像から3Dモデルを生成することは、困難で活発に研究されているコンピュータビジョンタスクである。 非効率な3D表現形式、弱い3Dモデル生成バックボーン、高密度の点雲を生成することができないなど、さまざまな問題があります。 新たな2次元RGB画像からポイントクラウドへの変換手法が提案され,フィールドにおける技術状況が改善されている。
  論文  参考訳（メタデータ） (2021-06-17T10:48:46Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。