論文の概要: Make-A-Shape: a Ten-Million-scale 3D Shape Model
- arxiv url: http://arxiv.org/abs/2401.11067v1
- Date: Sat, 20 Jan 2024 00:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 18:04:58.547707
- Title: Make-A-Shape: a Ten-Million-scale 3D Shape Model
- Title(参考訳): Make-A-Shape:10ミリスケール3次元形状モデル
- Authors: Ka-Hei Hui, Aditya Sanghi, Arianna Rampini, Kamal Rahimi Malekshan,
Zhengzhe Liu, Hooman Shayani, Chi-Wing Fu
- Abstract要約: 本稿では,大規模な効率的なトレーニングを目的とした新しい3次元生成モデルであるMake-A-Shapeを紹介する。
まずウェーブレットツリー表現を革新し、サブバンド係数フィルタリングスキームを定式化して形状をコンパクトに符号化する。
我々は、粗いウェーブレット係数の生成を効果的に学習するために、我々のモデルを訓練するためのサブバンド適応型トレーニング戦略を導出する。
- 参考スコア(独自算出の注目度): 55.34451258972251
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Significant progress has been made in training large generative models for
natural language and images. Yet, the advancement of 3D generative models is
hindered by their substantial resource demands for training, along with
inefficient, non-compact, and less expressive representations. This paper
introduces Make-A-Shape, a new 3D generative model designed for efficient
training on a vast scale, capable of utilizing 10 millions publicly-available
shapes. Technical-wise, we first innovate a wavelet-tree representation to
compactly encode shapes by formulating the subband coefficient filtering scheme
to efficiently exploit coefficient relations. We then make the representation
generatable by a diffusion model by devising the subband coefficients packing
scheme to layout the representation in a low-resolution grid. Further, we
derive the subband adaptive training strategy to train our model to effectively
learn to generate coarse and detail wavelet coefficients. Last, we extend our
framework to be controlled by additional input conditions to enable it to
generate shapes from assorted modalities, e.g., single/multi-view images, point
clouds, and low-resolution voxels. In our extensive set of experiments, we
demonstrate various applications, such as unconditional generation, shape
completion, and conditional generation on a wide range of modalities. Our
approach not only surpasses the state of the art in delivering high-quality
results but also efficiently generates shapes within a few seconds, often
achieving this in just 2 seconds for most conditions.
- Abstract(参考訳): 自然言語と画像の大規模な生成モデルの訓練において重要な進展が見られた。
しかし、3次元生成モデルの進歩は、非効率で非コンパクトで表現力に乏しい表現とともに、トレーニングに対するリソースの実質的な要求によって妨げられている。
そこで本稿では,1000万の形状を活用可能な大規模学習のための新しい3次元生成モデルであるmake-a-shapeを提案する。
技術的には、まずウェーブレットツリー表現を革新し、サブバンド係数フィルタリングスキームを定式化し、係数関係を効率的に活用する。
次に,低分解能グリッドで表現をレイアウトするサブバンド係数パッキング方式を考案し,拡散モデルにより表現を生成可能とする。
さらに,モデル学習のためのサブバンド適応学習戦略を導出し,粗いウェーブレット係数の生成を効果的に行う。
最後に、当社のフレームワークを追加の入力条件で制御できるように拡張することで、シングル/マルチビューイメージ、ポイントクラウド、低解像度ボクセルなど、さまざまなモダリティから形状を生成することができます。
広範に実験を行った結果,無条件生成,形状完備化,多岐にわたる条件生成など,様々な応用が示された。
私たちのアプローチは、高品質な結果を提供する上での最先端技術を超えるだけでなく、数秒で効率的に形状を生成します。
関連論文リスト
- Pushing Auto-regressive Models for 3D Shape Generation at Capacity and
Scalability [121.44324465222498]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳(メタデータ) (2024-02-19T15:33:09Z) - Surf-D: High-Quality Surface Generation for Arbitrary Topologies using
Diffusion Models [84.70704129551245]
Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。
UDFは任意のトポロジを扱うのに優れており、複雑な形状を生成することができる。
論文 参考訳(メタデータ) (2023-11-28T18:56:01Z) - Pushing the Limits of 3D Shape Generation at Scale [65.24420181727615]
我々は、前例のない次元に拡大することで、3次元形状生成において画期的なブレークスルーを示す。
現在までに最大の3次元形状生成モデルとしてArgus-3Dが確立されている。
論文 参考訳(メタデータ) (2023-06-20T13:01:19Z) - Few-shot 3D Shape Generation [18.532357455856836]
本研究では,大領域で事前学習した生成モデルを限定データを用いて対象領域に適応させることにより,少数の3次元形状生成を実現するための最初の試みを行う。
提案手法では,ターゲット形状分布を学習するためのトレーニングデータとして,数発のターゲットサンプルのシルエットしか必要としない。
論文 参考訳(メタデータ) (2023-05-19T13:30:10Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳(メタデータ) (2023-03-26T12:03:18Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳(メタデータ) (2022-11-30T01:55:52Z) - Neural Wavelet-domain Diffusion for 3D Shape Generation [52.038346313823524]
本稿では,ウェーブレット領域における連続的暗黙表現の直接生成モデリングを可能にする3次元形状生成の新しい手法を提案する。
具体的には、1対の粗い係数と細部係数の体積を持つコンパクトなウェーブレット表現を提案し、トランケートされた符号付き距離関数とマルチスケールの生体直交ウェーブレットを介して3次元形状を暗黙的に表現する。
論文 参考訳(メタデータ) (2022-09-19T02:51:48Z) - 3DILG: Irregular Latent Grids for 3D Generative Modeling [44.16807313707137]
ニューラルネットワークとして3次元形状を符号化するための新しい表現を提案する。
この表現はトランスアーキテクチャと互換性があり、形状再構成と形状生成の両方の利点があるように設計されている。
論文 参考訳(メタデータ) (2022-05-27T11:29:52Z) - Discrete Point Flow Networks for Efficient Point Cloud Generation [36.03093265136374]
生成モデルは3次元形状とその統計的バリエーションをモデル化するのに有効であることが証明されている。
任意の大きさの3次元点雲を生成するために,フローの正規化に基づく潜在変数モデルを導入する。
単一ビュー形状再構成では、最先端のボクセル、ポイントクラウド、メッシュベースの手法と同等の結果が得られる。
論文 参考訳(メタデータ) (2020-07-20T14:48:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。