論文の概要: MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

• arxiv url: http://arxiv.org/abs/2406.10163v2
• Date: Wed, 09 Oct 2024 05:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:37.484099
• Title: MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers
• Title（参考訳）: MeshAnything: 自動回帰変換器を備えたアーティストによるメッシュ生成
• Authors: Yiwen Chen, Tong He, Di Huang, Weicai Ye, Sijin Chen, Jiaxiang Tang, Xin Chen, Zhongang Cai, Lei Yang, Gang Yu, Guosheng Lin, Chi Zhang,
• Abstract要約: メッシュ抽出を生成問題として扱うモデルであるMeshAnythingを導入する。 任意の3D表現の3DアセットをAMに変換することで、MeshAnythingは様々な3Dアセット生産方法に統合することができる。 本手法は, 顔の数百倍少ないAMを生成し, 記憶, レンダリング, シミュレーション効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 76.70891862458384
• License:
• Abstract: Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.
• Abstract（参考訳）: 近年, 再建・再生による3D資産は手作業による資産の質に匹敵し, 代替の可能性も浮き彫りになってきた。 しかし、これらの資産は、常に3D産業アプリケーションのためにメッシュに変換する必要があり、現在のメッシュ抽出手法によって生成されるメッシュは、Artist-Created Mesh(AM)よりも大幅に劣る。 特に、現在のメッシュ抽出法は、濃厚な顔に頼り、幾何学的特徴を無視し、非効率、複雑な後処理、表現品質を低下させる。 これらの問題に対処するために,メッシュ抽出を生成問題として扱うモデルであるMeshAnythingを導入する。 任意の3D表現における3DアセットをAMに変換することで、MeshAnythingは様々な3Dアセット生産方法に統合することができ、3D産業全体にわたってそのアプリケーションを強化することができる。 MeshAnythingのアーキテクチャは、VQ-VAEと形状条件付きデコーダのみのトランスを備える。 まず,VQ-VAEを用いてメッシュ語彙を学習し,形状条件付き自己回帰メッシュ生成のための形状条件付きデコーダのみ変換器をトレーニングする。 提案手法は, 顔の数百倍少ないAMを生成し, 記憶, レンダリング, シミュレーション効率を大幅に向上し, 従来手法に匹敵する精度を実現した。

関連論文リスト

• 3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion [86.25111098482537]
  3DTopia-XLは,既存の手法の限界を克服するために設計された,スケーラブルなネイティブな3D生成モデルである。 3DTopia-XLは、新しいプリミティブベースの3D表現であるPrimXを利用して、詳細な形状、アルベド、マテリアルフィールドをコンパクトなテンソル形式にエンコードする。 その上で, 1) 原始的パッチ圧縮, 2) および潜在的原始的拡散を含む拡散変換器(DiT)に基づく生成フレームワークを提案する。 我々は,3DTopia-XLが既存の手法よりも高い性能を示すことを示すために,広範囲な定性的,定量的な実験を行った。
  論文  参考訳（メタデータ） (2024-09-19T17:59:06Z)
• PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers [5.7181794813117754]
  PASTAは、高品質な3D形状を生成する自動回帰トランスフォーマーアーキテクチャである。 我々のモデルは、既存のパートベースおよび非パートベース手法よりも現実的で多様な3D形状を生成する。
  論文  参考訳（メタデータ） (2024-07-18T16:52:45Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
  大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。 彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。 生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:09:12Z)
• CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner [34.78919665494048]
  CraftsManは、非常に多様な形状、通常のメッシュトポロジ、詳細な表面を持つ高忠実な3Dジオメトリを生成することができる。 本手法は,従来の方法に比べて高品質な3Dアセットの製作に有効である。
  論文  参考訳（メタデータ） (2024-05-23T18:30:12Z)
• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
  自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。 自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
  論文  参考訳（メタデータ） (2024-02-19T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。