論文の概要: MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs

• arxiv url: http://arxiv.org/abs/2503.23022v1
• Date: Sat, 29 Mar 2025 09:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:36:06.471066
• Title: MeshCraft: Exploring Efficient and Controllable Mesh Generation with Flow-based DiTs
• Title（参考訳）: MeshCraft: フローベースのDiTによる効率的かつ制御可能なメッシュ生成の探索
• Authors: Xianglong He, Junyi Chen, Di Huang, Zexiang Liu, Xiaoshui Huang, Wanli Ouyang, Chun Yuan, Yangguang Li,
• Abstract要約: MeshCraftは、効率的かつ制御可能なメッシュ生成のためのフレームワークである。 連続的な空間拡散を用いて、離散的な三角形の面を生成する。 800面のメッシュを3.2秒で生成できる。
• 参考スコア（独自算出の注目度）: 79.45006864728893
• License:
• Abstract: In the domain of 3D content creation, achieving optimal mesh topology through AI models has long been a pursuit for 3D artists. Previous methods, such as MeshGPT, have explored the generation of ready-to-use 3D objects via mesh auto-regressive techniques. While these methods produce visually impressive results, their reliance on token-by-token predictions in the auto-regressive process leads to several significant limitations. These include extremely slow generation speeds and an uncontrollable number of mesh faces. In this paper, we introduce MeshCraft, a novel framework for efficient and controllable mesh generation, which leverages continuous spatial diffusion to generate discrete triangle faces. Specifically, MeshCraft consists of two core components: 1) a transformer-based VAE that encodes raw meshes into continuous face-level tokens and decodes them back to the original meshes, and 2) a flow-based diffusion transformer conditioned on the number of faces, enabling the generation of high-quality 3D meshes with a predefined number of faces. By utilizing the diffusion model for the simultaneous generation of the entire mesh topology, MeshCraft achieves high-fidelity mesh generation at significantly faster speeds compared to auto-regressive methods. Specifically, MeshCraft can generate an 800-face mesh in just 3.2 seconds (35$\times$ faster than existing baselines). Extensive experiments demonstrate that MeshCraft outperforms state-of-the-art techniques in both qualitative and quantitative evaluations on ShapeNet dataset and demonstrates superior performance on Objaverse dataset. Moreover, it integrates seamlessly with existing conditional guidance strategies, showcasing its potential to relieve artists from the time-consuming manual work involved in mesh creation.
• Abstract（参考訳）: 3Dコンテンツ作成の分野では、AIモデルによる最適なメッシュトポロジを達成することが、長い間3Dアーティストの追求であった。 MeshGPTのような従来手法では、メッシュ自動回帰技術を用いて、既使用の3Dオブジェクトの生成を探索してきた。 これらの手法は視覚的に印象的な結果をもたらすが、自動回帰プロセスにおけるトークン・バイ・トークンの予測に依存しているため、いくつかの重大な制限が生じる。 これには、非常に遅い生成速度と制御不能な数のメッシュフェイスが含まれる。 本稿では、連続空間拡散を利用して離散三角形面を生成する、効率的かつ制御可能なメッシュ生成のための新しいフレームワークであるMeshCraftを紹介する。 具体的には、MeshCraftは2つのコアコンポーネントで構成されています。 1) トランスフォーマーベースのVAEで、生メッシュを連続的な顔レベルのトークンにエンコードし、元のメッシュに復号する。 2) 面数に条件付きフローベース拡散変圧器により, 予め定義された面数で高品質な3Dメッシュを生成することができる。 メッシュトポロジ全体の同時生成に拡散モデルを利用することで,自動回帰法と比較して極めて高速な高忠実度メッシュ生成を実現する。 具体的には、MeshCraftは800面のメッシュを3.2秒で生成できる(既存のベースラインよりも35$\times$高速)。 大規模な実験により、MeshCraftはShapeNetデータセットの質的および定量的評価において最先端技術よりも優れており、Objaverseデータセット上での優れたパフォーマンスを示している。 さらに、既存の条件付きガイダンス戦略とシームレスに統合され、メッシュ作成に関わる時間を要する手作業からアーティストを解放する可能性を示している。

関連論文リスト

• GenUDC: High Quality 3D Mesh Generation with Unsigned Dual Contouring Representation [13.923644541595893]
  3次元生成モデルは、複雑な構造と現実的な表面を持つ高品質なメッシュを生成する。 我々は、Unsigned Dual Contouring (UDC) をメッシュ表現として活用することにより、これらの課題に対処するGenUDCフレームワークを提案する。 さらに、GenUDCは2段階の粗大な生成プロセスを3Dメッシュ生成に採用している。
  論文  参考訳（メタデータ） (2024-10-23T11:59:49Z)
• MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization [65.15226276553891]
  MeshAnything V2はArtist-Created Meshを作成するために設計された高度なメッシュ生成モデルである。 MeshAnything V2の背後にある重要なイノベーションは、新しいAdjacent Mesh Tokenization(AMT)メソッドです。
  論文  参考訳（メタデータ） (2024-08-05T15:33:45Z)
• MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers [76.70891862458384]
  メッシュ抽出を生成問題として扱うモデルであるMeshAnythingを導入する。 任意の3D表現の3DアセットをAMに変換することで、MeshAnythingは様々な3Dアセット生産方法に統合することができる。 本手法は, 顔の数百倍少ないAMを生成し, 記憶, レンダリング, シミュレーション効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-14T16:30:25Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• PivotMesh: Generic 3D Mesh Generation via Pivot Vertices Guidance [66.40153183581894]
  汎用的でスケーラブルなメッシュ生成フレームワークであるPivotMeshを紹介します。 PivotMeshは、ネイティブメッシュ生成を大規模データセットに拡張する最初の試みである。 PivotMeshは,様々なカテゴリにまたがって,コンパクトでシャープな3Dメッシュを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-05-27T07:13:13Z)
• InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models [66.83681825842135]
  InstantMeshは、単一のイメージからインスタント3Dメッシュを生成するためのフィードフォワードフレームワークである。 最新世代の品質とトレーニングのスケーラビリティが特徴だ。 InstantMeshのコード、重み、デモをすべてリリースし、3D生成AIのコミュニティに多大な貢献ができることを意図しています。
  論文  参考訳（メタデータ） (2024-04-10T17:48:37Z)
• Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
  ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。