論文の概要: PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud
- arxiv url: http://arxiv.org/abs/2406.15811v3
- Date: Tue, 12 Aug 2025 13:31:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 14:32:15.791519
- Title: PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud
- Title（参考訳）: PointDreamer:色付きポイントクラウドからゼロショット3Dテクスチャメッシュを再構築
- Authors: Qiao Yu, Xianzhi Li, Yuan Tang, Xu Han, Jinfeng Xu, Long Hu, Min Chen,
- Abstract要約: 優れたテクスチャ品質に先立って2次元拡散を利用する新しいフレームワークであるPointDreamerを提案する。
PointDreamerはゼロショットだが、 SoTAパフォーマンス(LPIPSスコアが0.118から0.068に30%改善)を示し、ノイズ、スパース、さらには不完全な入力データに対して堅牢である。
- 参考スコア（独自算出の注目度）: 21.224318910715777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Faithfully reconstructing textured meshes is crucial for many applications. Compared to text or image modalities, leveraging 3D colored point clouds as input (colored-PC-to-mesh) offers inherent advantages in comprehensively and precisely replicating the target object's 360{\deg} characteristics. While most existing colored-PC-to-mesh methods suffer from blurry textures or require hard-to-acquire 3D training data, we propose PointDreamer, a novel framework that harnesses 2D diffusion prior for superior texture quality. Crucially, unlike prior 2D-diffusion-for-3D works driven by text or image inputs, PointDreamer successfully adapts 2D diffusion models to 3D point cloud data by a novel project-inpaint-unproject pipeline. Specifically, it first projects the point cloud into sparse 2D images and then performs diffusion-based inpainting. After that, diverging from most existing 3D reconstruction or generation approaches that predict texture in 3D/UV space thus often yielding blurry texture, PointDreamer achieves high-quality texture by directly unprojecting the inpainted 2D images to the 3D mesh. Furthermore, we identify for the first time a typical kind of unprojection artifact appearing in occlusion borders, which is common in other multiview-image-to-3D pipelines but less-explored. To address this, we propose a novel solution named the Non-Border-First (NBF) unprojection strategy. Extensive qualitative and quantitative experiments on various synthetic and real-scanned datasets demonstrate that PointDreamer, though zero-shot, exhibits SoTA performance (30% improvement on LPIPS score from 0.118 to 0.068), and is robust to noisy, sparse, or even incomplete input data. Code at: https://github.com/YuQiao0303/PointDreamer.
- Abstract（参考訳）: テクスチャメッシュを忠実に再構築することは、多くのアプリケーションにとって不可欠である。
テキストや画像のモダリティと比較して、3D色の点雲を入力(色付きPC-to-mesh)として活用することは、ターゲットオブジェクトの360{\deg}特性を包括的かつ正確に複製する上で、固有の利点をもたらす。
既存のカラーPC-to-mesh法は, ぼやけたテクスチャに悩まされているり, 難しい3Dトレーニングデータを必要とする場合が多いが, 優れたテクスチャ品質を実現するために, 2次元拡散を利用した新しいフレームワークであるPointDreamerを提案する。
重要なことは、テキストや画像入力によって駆動される以前の2D拡散-for-3D作業とは異なり、PointDreamerは、新しいプロジェクト・インペント・アンパイプラインパイプラインによって、2D拡散モデルを3Dポイント・クラウドデータに適用することに成功している。
具体的には、まず点雲をスパース2D画像に投影し、拡散ベースの塗装を行う。
その後、3D/UV空間のテクスチャを予測できる既存の3D再構成や生成アプローチから分岐して、PointDreamerは3Dメッシュに直接2D画像を投影することで、高品質なテクスチャを実現する。
さらに,他のマルチビュー画像から3Dパイプラインでは一般的だが,探索の少ない,閉塞境界に現れる典型的な非射影アーティファクトを初めて同定する。
そこで本稿では,NBF (Non-Border-First unprojection Strategy) という新しい手法を提案する。
様々な合成および実スキャンデータセットの大規模な定性的および定量的実験により、PointDreamerはゼロショットであるが、SoTA性能(LPIPSスコアが0.118から0.068に30%改善)を示し、ノイズ、スパース、さらには不完全な入力データに対して堅牢であることが示された。
コードネームはhttps://github.com/YuQiao0303/PointDreamer。
関連論文リスト
- TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。
本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。
テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
論文 参考訳（メタデータ） (2024-11-22T05:22:11Z) - DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation [149.77077125310805]
我々はDreamMeshを提案する。DreamMeshは、明確に定義された表面(三角形メッシュ)をピボットして高忠実な3Dモデルを生成する、新しいテキスト・ツー・3Dアーキテクチャである。
粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、その後DreamMeshは2D拡散モデルを用いてメッシュをテクスチャ化する。
細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。
論文 参考訳（メタデータ） (2024-09-11T17:59:02Z) - GaussianPU: A Hybrid 2D-3D Upsampling Framework for Enhancing Color Point Clouds via 3D Gaussian Splatting [11.60605616190011]
ロボット知覚のための3Dガウススプラッティング(3DGS)に基づく2D-3Dハイブリッドカラークラウドサンプリングフレームワーク(GaussianPU)を提案する。
二重スケールレンダリング画像復元ネットワークは、スパースポイントクラウドレンダリングを密度表現に変換する。
バニラ3DGSに一連の改良を加え、ポイント数を正確に制御できるようにしました。
論文 参考訳（メタデータ） (2024-09-03T03:35:04Z) - LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。
彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。
生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
論文 参考訳（メタデータ） (2024-05-24T15:09:12Z) - Consistent Mesh Diffusion [8.318075237885857]
UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。
当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
論文 参考訳（メタデータ） (2023-12-01T23:25:14Z) - LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes [52.31402192831474]
しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。
ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。
LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
論文 参考訳（メタデータ） (2023-11-22T13:27:34Z) - Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance
Fields [63.21420081888606]
最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。
我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
論文 参考訳（メタデータ） (2023-03-29T06:26:55Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳（メタデータ） (2021-08-18T07:44:21Z) - SE-MD: A Single-encoder multiple-decoder deep network for point cloud
generation from 2D images [2.4087148947930634]
単一の2D RGB画像から3Dモデルを生成することは、困難で活発に研究されているコンピュータビジョンタスクである。
非効率な3D表現形式、弱い3Dモデル生成バックボーン、高密度の点雲を生成することができないなど、さまざまな問題があります。
新たな2次元RGB画像からポイントクラウドへの変換手法が提案され,フィールドにおける技術状況が改善されている。
論文 参考訳（メタデータ） (2021-06-17T10:48:46Z) - ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。
不規則な3D点雲を通常の2Dカラー画像に変換する。
多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
論文 参考訳（メタデータ） (2020-12-05T13:19:55Z) - ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes [93.82668222075128]
RGB-Dシーンに対するImVoteNetと呼ばれる3次元検出アーキテクチャを提案する。
ImVoteNetは、画像に2D票、ポイントクラウドに3D票を投じることに基づいている。
挑戦的なSUN RGB-Dデータセット上でモデルを検証した。
論文 参考訳（メタデータ） (2020-01-29T05:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。