論文の概要: PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers
- arxiv url: http://arxiv.org/abs/2407.13677v1
- Date: Thu, 18 Jul 2024 16:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:31:41.205950
- Title: PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers
- Title（参考訳）: PASTA:自己回帰変換器を用いた制御可能な部品認識形状生成
- Authors: Songlin Li, Despoina Paschalidou, Leonidas Guibas,
- Abstract要約: PASTAは、高品質な3D形状を生成する自動回帰トランスフォーマーアーキテクチャである。
我々のモデルは、既存のパートベースおよび非パートベース手法よりも現実的で多様な3D形状を生成する。
- 参考スコア（独自算出の注目度）: 5.7181794813117754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increased demand for tools that automate the 3D content creation process led to tremendous progress in deep generative models that can generate diverse 3D objects of high fidelity. In this paper, we present PASTA, an autoregressive transformer architecture for generating high quality 3D shapes. PASTA comprises two main components: An autoregressive transformer that generates objects as a sequence of cuboidal primitives and a blending network, implemented with a transformer decoder that composes the sequences of cuboids and synthesizes high quality meshes for each object. Our model is trained in two stages: First we train our autoregressive generative model using only annotated cuboidal parts as supervision and next, we train our blending network using explicit 3D supervision, in the form of watertight meshes. Evaluations on various ShapeNet objects showcase the ability of our model to perform shape generation from diverse inputs \eg from scratch, from a partial object, from text and images, as well size-guided generation, by explicitly conditioning on a bounding box that defines the object's boundaries. Moreover, as our model considers the underlying part-based structure of a 3D object, we are able to select a specific part and produce shapes with meaningful variations of this part. As evidenced by our experiments, our model generates 3D shapes that are both more realistic and diverse than existing part-based and non part-based methods, while at the same time is simpler to implement and train.
- Abstract（参考訳）: 3Dコンテンツ作成プロセスを自動化するツールの需要の増加は、多種多様な高忠実度な3Dオブジェクトを生成できる深層生成モデルの大幅な進歩につながった。
本稿では,高品質な3次元形状を生成する自動回帰トランスアーキテクチャであるPASTAを提案する。
PASTAは、立方体プリミティブのシーケンスとしてオブジェクトを生成する自己回帰トランスフォーマーと、立方体のシーケンスを構成するトランスフォーマーデコーダで実装され、各オブジェクトに対して高品質なメッシュを合成するブレンディングネットワークである。
まず、アノテートされた立方体部分のみを監督として自動回帰生成モデルを訓練し、次に、明快な3D監視を用いて水密メッシュの形でブレンディングネットワークを訓練する。
様々なShapeNetオブジェクトに対する評価では、オブジェクトの境界を定義するバウンディングボックスを明示的に条件付けすることで、テキストや画像から、部分オブジェクトから、そしてサイズ誘導生成から、スクラッチから、多様な入力から、形状生成を行うモデルの能力を示す。
さらに,本モデルでは,3次元オブジェクトの基盤となる部分構造を考慮し,特定の部分を選択し,この部分の有意義なバリエーションで形状を生成できる。
実験によって証明されたように、我々のモデルは既存のパートベースおよび非パートベース手法よりも現実的で多様な3D形状を生成すると同時に、実装とトレーニングも簡単である。
関連論文リスト
- MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers [76.70891862458384]
メッシュ抽出を生成問題として扱うモデルであるMeshAnythingを導入する。
任意の3D表現の3DアセットをAMに変換することで、MeshAnythingは様々な3Dアセット生産方法に統合することができる。
本手法は, 顔の数百倍少ないAMを生成し, 記憶, レンダリング, シミュレーション効率を大幅に向上させる。
論文 参考訳（メタデータ） (2024-06-14T16:30:25Z) - CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets [43.315487682462845]
CLAYは、人間の想像力を複雑な3Dデジタル構造に変換するために設計された3D幾何学および材料生成装置である。
中心となるのは、多解像度変分オートエンコーダ(VAE)と最小遅延拡散変換器(DiT)からなる大規模生成モデルである。
我々はCLAYを、スケッチ的な概念設計から複雑な詳細を持つ生産可能な資産まで、様々な制御可能な3Dアセット作成に活用することを実証する。
論文 参考訳（メタデータ） (2024-05-30T05:57:36Z) - NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T04:09:34Z) - Object-Centric Domain Randomization for 3D Shape Reconstruction in the Wild [22.82439286651921]
ワンビュー3次元形状復元における最大の課題の1つは、現実世界の環境から得られる3次元形状2次元画像データの不足である。
ドメインランダム化による顕著な成果にインスパイアされたObjectDRは、オブジェクトの外観や背景の視覚的変化をランダムにシミュレーションすることで、そのようなペア化されたデータを合成する。
論文 参考訳（メタデータ） (2024-03-21T16:40:10Z) - ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳（メタデータ） (2024-03-19T03:39:43Z) - Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳（メタデータ） (2024-02-19T15:33:09Z) - Pushing the Limits of 3D Shape Generation at Scale [65.24420181727615]
我々は、前例のない次元に拡大することで、3次元形状生成において画期的なブレークスルーを示す。
現在までに最大の3次元形状生成モデルとしてArgus-3Dが確立されている。
論文 参考訳（メタデータ） (2023-06-20T13:01:19Z) - Learning to Generate 3D Shapes from a Single Example [28.707149807472685]
本稿では,入力形状の幾何学的特徴を空間的範囲にわたって捉えるために,マルチスケールのGANモデルを提案する。
我々は、外部の監督や手動のアノテーションを必要とせずに、基準形状のボクセルピラミッドで生成モデルを訓練する。
結果の形状は異なるスケールで変化を示し、同時に基準形状のグローバルな構造を保持する。
論文 参考訳（メタデータ） (2022-08-05T01:05:32Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳（メタデータ） (2020-07-14T14:45:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。