論文の概要: CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner
- arxiv url: http://arxiv.org/abs/2405.14979v1
- Date: Thu, 23 May 2024 18:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 19:27:21.999215
- Title: CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner
- Title（参考訳）: CraftsMan: 3Dネイティブ生成とインタラクティブなジオメトリリファイナを備えた高忠実なメッシュ生成
- Authors: Weiyu Li, Jiarui Liu, Rui Chen, Yixun Liang, Xuelin Chen, Ping Tan, Xiaoxiao Long,
- Abstract要約: CraftsManは、非常に多様な形状、通常のメッシュトポロジ、詳細な表面を持つ高忠実な3Dジオメトリを生成することができる。
本手法は,従来の方法に比べて高品質な3Dアセットの製作に有効である。
- 参考スコア（独自算出の注目度）: 34.78919665494048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel generative 3D modeling system, coined CraftsMan, which can generate high-fidelity 3D geometries with highly varied shapes, regular mesh topologies, and detailed surfaces, and, notably, allows for refining the geometry in an interactive manner. Despite the significant advancements in 3D generation, existing methods still struggle with lengthy optimization processes, irregular mesh topologies, noisy surfaces, and difficulties in accommodating user edits, consequently impeding their widespread adoption and implementation in 3D modeling software. Our work is inspired by the craftsman, who usually roughs out the holistic figure of the work first and elaborates the surface details subsequently. Specifically, we employ a 3D native diffusion model, which operates on latent space learned from latent set-based 3D representations, to generate coarse geometries with regular mesh topology in seconds. In particular, this process takes as input a text prompt or a reference image and leverages a powerful multi-view (MV) diffusion model to generate multiple views of the coarse geometry, which are fed into our MV-conditioned 3D diffusion model for generating the 3D geometry, significantly improving robustness and generalizability. Following that, a normal-based geometry refiner is used to significantly enhance the surface details. This refinement can be performed automatically, or interactively with user-supplied edits. Extensive experiments demonstrate that our method achieves high efficacy in producing superior-quality 3D assets compared to existing methods. HomePage: https://craftsman3d.github.io/, Code: https://github.com/wyysf-98/CraftsMan
- Abstract（参考訳）: 本稿では,多種多様な形状,規則メッシュトポロジ,詳細な表面を持つ高忠実な3次元ジオメトリを生成できるCraftsManという新しい3次元モデリングシステムについて述べる。
3D生成の大幅な進歩にもかかわらず、既存の手法は、長い最適化プロセス、不規則なメッシュトポロジ、ノイズの多い表面、ユーザの編集の調整の難しさに苦慮しており、3Dモデリングソフトウェアで広く採用され実装されることを妨げている。
私たちの作品は職人にインスピレーションを受けており、彼はまずその作品の全体像を大まかに描き、その後表面の詳細を詳しく説明している。
具体的には、3Dネイティブ拡散モデルを用いて、潜在集合に基づく3次元表現から学習した潜在空間を演算し、正規メッシュトポロジを持つ粗いジオメトリを数秒で生成する。
特に、このプロセスはテキストプロンプトや参照画像の入力として、強力なマルチビュー拡散モデルを利用して、粗い幾何学の複数のビューを生成し、3次元幾何を生成するためにMV条件の3D拡散モデルに入力し、ロバスト性と一般化性を大幅に向上させる。
その後、表面の細部を大幅に強化するために通常の幾何精細機が使用される。
このリファインメントは、自動的に、あるいはユーザーが提供する編集と対話的に行うことができる。
大規模な実験により,本手法は既存の手法に比べて高品質な3Dアセットの製作に有効であることが示された。
HomePage: https://craftsman3d.github.io/, Code: https://github.com/wyysf-98/CraftsMan
関連論文リスト
- Edify 3D: Scalable High-Quality 3D Asset Generation [53.86838858460809]
Edify 3Dは高品質な3Dアセット生成のために設計された高度なソリューションである。
提案手法は,2分間で詳細な形状,清潔な形状のトポロジ,高分解能なテクスチャ,材料で高品質な3Dアセットを生成できる。
論文 参考訳（メタデータ） (2024-11-11T17:07:43Z) - Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。
我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
論文 参考訳（メタデータ） (2024-10-09T10:41:08Z) - Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。
生成した2次元画像が基本形状と構造を保持することを保証するために,高品質な3次元モデルから導出される深度マップを制御信号として利用する。
3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
論文 参考訳（メタデータ） (2024-08-12T06:25:44Z) - GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-06-21T17:49:31Z) - DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-06-06T17:58:15Z) - 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳（メタデータ） (2024-03-14T14:31:22Z) - MeshDiffusion: Score-based Generative 3D Mesh Modeling [68.40770889259143]
本研究では,シーンの自動生成と物理シミュレーションのための現実的な3次元形状生成の課題について考察する。
メッシュのグラフ構造を利用して、3Dメッシュを生成するのにシンプルだが非常に効果的な生成モデリング手法を用いる。
具体的には、変形可能な四面体格子でメッシュを表現し、この直接パラメトリゼーション上で拡散モデルを訓練する。
論文 参考訳（メタデータ） (2023-03-14T17:59:01Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-09-22T17:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。