論文の概要: DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation

• arxiv url: http://arxiv.org/abs/2409.07454v1
• Date: Wed, 11 Sep 2024 17:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 13:26:57.761569
• Title: DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation
• Title（参考訳）: DreamMesh: テキストから3D生成のための共同操作およびテクスチャトライアングルメッシュ
• Authors: Haibo Yang, Yang Chen, Yingwei Pan, Ting Yao, Zhineng Chen, Zuxuan Wu, Yu-Gang Jiang, Tao Mei,
• Abstract要約: 我々はDreamMeshを提案する。DreamMeshは、明確に定義された表面(三角形メッシュ)をピボットして高忠実な3Dモデルを生成する、新しいテキスト・ツー・3Dアーキテクチャである。 粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、その後DreamMeshは2D拡散モデルを用いてメッシュをテクスチャ化する。 細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。
• 参考スコア（独自算出の注目度）: 149.77077125310805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning radiance fields (NeRF) with powerful 2D diffusion models has garnered popularity for text-to-3D generation. Nevertheless, the implicit 3D representations of NeRF lack explicit modeling of meshes and textures over surfaces, and such surface-undefined way may suffer from the issues, e.g., noisy surfaces with ambiguous texture details or cross-view inconsistency. To alleviate this, we present DreamMesh, a novel text-to-3D architecture that pivots on well-defined surfaces (triangle meshes) to generate high-fidelity explicit 3D model. Technically, DreamMesh capitalizes on a distinctive coarse-to-fine scheme. In the coarse stage, the mesh is first deformed by text-guided Jacobians and then DreamMesh textures the mesh with an interlaced use of 2D diffusion models in a tuning free manner from multiple viewpoints. In the fine stage, DreamMesh jointly manipulates the mesh and refines the texture map, leading to high-quality triangle meshes with high-fidelity textured materials. Extensive experiments demonstrate that DreamMesh significantly outperforms state-of-the-art text-to-3D methods in faithfully generating 3D content with richer textual details and enhanced geometry. Our project page is available at https://dreammesh.github.io.
• Abstract（参考訳）: 強力な2次元拡散モデルを持つ学習放射場(NeRF)は,テキストから3次元生成に人気がある。 それでも、NeRFの暗黙的な3D表現は表面上のメッシュやテクスチャの明示的なモデリングを欠いているため、表面的未定義な方法では、曖昧なテクスチャの詳細や横断的な不整合を持つノイズの多い表面といった問題に悩まされる可能性がある。 これを緩和するためにDreamMeshを提案する。DreamMeshは、よく定義された表面(三角形メッシュ)をピボットして高忠実な明示的な3Dモデルを生成する、新しいテキストから3Dアーキテクチャである。 技術的には、DreamMeshは独特な粗い細かなスキームに乗じている。 粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、次にDreamMeshはメッシュを複数の視点から自由にチューニングできる2次元拡散モデルを用いてテクスチャ化する。 細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。 大規模な実験により、DreamMeshは、よりリッチなテキストの詳細と拡張された幾何学で忠実に3Dコンテンツを生成できる最先端のテキスト・ツー・3D手法を著しく上回っていることが示された。 私たちのプロジェクトページはhttps://dreammesh.github.io.comで公開されている。

関連論文リスト

• 3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation [0.8479659578608233]
  本稿では,StyleGAN と 3D Morphable Models を用いた単一画像からのテクスチャ推定手法を提案する。 その結果, 生成したメッシュは質が高く, テクスチャ表現がほぼ正確であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-21T13:42:06Z)
• EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion [5.158983929861116]
  EucliDreamerは、テキストとプロンプトが与えられた3次元モデルのテクスチャを生成するための、シンプルで効果的な方法である。 テクスチャは3次元表面上の暗黙の関数としてパラメータ化され、スコア蒸留サンプリング(SDS)プロセスと微分レンダリングで最適化される。
  論文  参考訳（メタデータ） (2024-04-16T04:44:16Z)
• 3DTextureTransformer: Geometry Aware Texture Generation for Arbitrary Mesh Topology [1.4349415652822481]
  3Dメッシュと実世界の2D画像の集合が与えられた新しい3Dメッシュのテクスチャを生成することを学ぶことは、3Dシミュレーション、拡張現実、仮想現実、ゲーム、アーキテクチャ、デザインなど、さまざまな領域のアプリケーションにとって重要な問題である。 既存のソリューションは、高品質なテクスチャを生成したり、元の高解像度の入力メッシュトポロジを正規のグリッドに変形させたりすることで、この生成を容易にするが、元のメッシュトポロジを失う。 本稿では,3DTextureTransformerという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T05:01:07Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Mesh Neural Cellular Automata [62.101063045659906]
  本稿では,UVマップを必要とせずに3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルオートマタ(MeshNCA)を提案する。 IcosphereメッシュでのみトレーニングされたMeshNCAは、驚くべきテストタイムの一般化を示し、目に見えないメッシュ上でテクスチャをリアルタイムで合成する。
  論文  参考訳（メタデータ） (2023-11-06T01:54:37Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• TextMesh: Generation of Realistic 3D Meshes From Text Prompts [56.2832907275291]
  リアルな3Dメッシュを生成するための新しい手法を提案する。 この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
  論文  参考訳（メタデータ） (2023-04-24T20:29:41Z)
• Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation [45.69270771487455]
  本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。 Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。 我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
  論文  参考訳（メタデータ） (2023-03-24T09:30:09Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。