論文の概要: Meshtron: High-Fidelity, Artist-Like 3D Mesh Generation at Scale
- arxiv url: http://arxiv.org/abs/2412.09548v1
- Date: Thu, 12 Dec 2024 18:38:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 13:31:16.592007
- Title: Meshtron: High-Fidelity, Artist-Like 3D Mesh Generation at Scale
- Title(参考訳): Meshtron:高忠実でアーティスト風の3Dメッシュを大規模に生成
- Authors: Zekun Hao, David W. Romero, Tsung-Yi Lin, Ming-Yu Liu,
- Abstract要約: 提案するMeshtronは,最大64K面のメッシュを1024レベルの座標分解能で生成可能な,新しい自己回帰メッシュ生成モデルである。
メッシュトロンは、前例のない解像度と忠実度で、詳細で複雑な3Dオブジェクトのメッシュを生成する。
- 参考スコア(独自算出の注目度): 34.727450451303255
- License:
- Abstract: Meshes are fundamental representations of 3D surfaces. However, creating high-quality meshes is a labor-intensive task that requires significant time and expertise in 3D modeling. While a delicate object often requires over $10^4$ faces to be accurately modeled, recent attempts at generating artist-like meshes are limited to $1.6$K faces and heavy discretization of vertex coordinates. Hence, scaling both the maximum face count and vertex coordinate resolution is crucial to producing high-quality meshes of realistic, complex 3D objects. We present Meshtron, a novel autoregressive mesh generation model able to generate meshes with up to 64K faces at 1024-level coordinate resolution --over an order of magnitude higher face count and $8{\times}$ higher coordinate resolution than current state-of-the-art methods. Meshtron's scalability is driven by four key components: (1) an hourglass neural architecture, (2) truncated sequence training, (3) sliding window inference, (4) a robust sampling strategy that enforces the order of mesh sequences. This results in over $50{\%}$ less training memory, $2.5{\times}$ faster throughput, and better consistency than existing works. Meshtron generates meshes of detailed, complex 3D objects at unprecedented levels of resolution and fidelity, closely resembling those created by professional artists, and opening the door to more realistic generation of detailed 3D assets for animation, gaming, and virtual environments.
- Abstract(参考訳): メッシュは3次元曲面の基本的な表現である。
しかし、高品質なメッシュを作成することは、労働集約的な作業であり、3Dモデリングにかなりの時間と専門知識を必要とする。
繊細な物体は正確にモデル化するために10^4$以上の顔を必要とすることが多いが、最近のアーティストのようなメッシュの生成の試みは16$Kの顔に限られており、頂点座標の過度な識別が可能である。
したがって、最大顔数と頂点座標分解能のスケーリングは、現実的で複雑な3Dオブジェクトの高品質なメッシュを作成するために重要である。
Meshtronは,1024レベルの座標解像度で最大64Kのメッシュを生成することができる,新たな自己回帰メッシュ生成モデルである。
メッシュトロンのスケーラビリティは,(1)時間ガラスニューラルアーキテクチャ,(2)トランケートシーケンストレーニング,(3)スライディングウィンドウ推論,(4)メッシュシーケンスの順序を強制する堅牢なサンプリング戦略の4つのキーコンポーネントによって駆動される。
これにより、トレーニングメモリが50ドル以上、2.5ドル、スループットが高速で、既存の作業よりも一貫性が向上します。
Meshtronは、高度な複雑な3Dオブジェクトのメッシュを前代未聞の解像度と忠実度で生成し、プロのアーティストが作り出したものとよく似ており、アニメーション、ゲーム、バーチャル環境のためのより現実的な3Dアセットを生み出すための扉を開く。
関連論文リスト
- DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。
我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
論文 参考訳(メタデータ) (2024-10-09T10:41:08Z) - DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-06-06T17:58:15Z) - Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture [8.21159633722483]
自動幾何およびテクスチャ生成のための新しいフレームワークであるTopo4Dを提案する。
まず、時系列面を固定位相を持つ動的3次元ガウス面の集合として表現する。
次に、高品質な幾何学とテクスチャ学習のためのフレーム・バイ・フレームの代替的な幾何学とテクスチャ最適化を行う。
論文 参考訳(メタデータ) (2024-06-01T13:37:51Z) - MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。
MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
論文 参考訳(メタデータ) (2024-05-31T14:35:35Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction [53.28220984270622]
3次元再構成法はリアルタイムに3次元整合性のある高忠実度結果を生成する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1~2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳(メタデータ) (2023-11-16T11:30:56Z) - 4D Facial Expression Diffusion Model [3.507793603897647]
本稿では,3次元表情系列を生成するための生成フレームワークを提案する。
これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。
実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
論文 参考訳(メタデータ) (2023-03-29T11:50:21Z) - CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。
合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
論文 参考訳(メタデータ) (2023-03-21T17:59:02Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳(メタデータ) (2022-09-22T17:16:19Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳(メタデータ) (2021-10-06T17:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。