論文の概要: Shap-E: Generating Conditional 3D Implicit Functions
- arxiv url: http://arxiv.org/abs/2305.02463v1
- Date: Wed, 3 May 2023 23:59:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 17:35:02.231811
- Title: Shap-E: Generating Conditional 3D Implicit Functions
- Title(参考訳): Shap-E: 条件付き3Dインシシタ関数の生成
- Authors: Heewoo Jun, Alex Nichol
- Abstract要約: Shap-Eは3Dアセットの条件付き生成モデルである。
まず、3Dアセットを暗黙の関数のパラメータに決定的にマッピングするエンコーダを訓練する。
ペア化された3Dデータとテキストデータの大規模なデータセットでトレーニングすると、得られたモデルは、数秒で複雑で多様な3Dアセットを生成することができる。
- 参考スコア(独自算出の注目度): 7.603750555294962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Shap-E, a conditional generative model for 3D assets. Unlike
recent work on 3D generative models which produce a single output
representation, Shap-E directly generates the parameters of implicit functions
that can be rendered as both textured meshes and neural radiance fields. We
train Shap-E in two stages: first, we train an encoder that deterministically
maps 3D assets into the parameters of an implicit function; second, we train a
conditional diffusion model on outputs of the encoder. When trained on a large
dataset of paired 3D and text data, our resulting models are capable of
generating complex and diverse 3D assets in a matter of seconds. When compared
to Point-E, an explicit generative model over point clouds, Shap-E converges
faster and reaches comparable or better sample quality despite modeling a
higher-dimensional, multi-representation output space. We release model
weights, inference code, and samples at https://github.com/openai/shap-e.
- Abstract(参考訳): 本稿では,3次元資産の条件付き生成モデルShap-Eを提案する。
単一の出力表現を生成する3D生成モデルに関する最近の研究とは異なり、Shap-Eはテクスチャメッシュとニューラル放射場の両方として描画できる暗黙関数のパラメータを直接生成する。
第一に、3Dアセットを暗黙関数のパラメータに決定的にマッピングするエンコーダを訓練し、第二に、エンコーダの出力に対して条件拡散モデルを訓練する。
ペア化された3Dデータとテキストデータの大規模なデータセットでトレーニングすると、得られたモデルは、数秒で複雑で多様な3Dアセットを生成することができる。
点雲上の明示的な生成モデルであるpoint-eと比較すると、shap-eはより高速に収束し、高次元の多表現出力空間をモデル化したにもかかわらず、同等かそれ以上のサンプル品質に達する。
私たちはモデルウェイト、推論コード、サンプルをhttps://github.com/openai/shap-eでリリースします。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - 3DTopia: Large Text-to-3D Generation Model with Hybrid Diffusion Priors [86.31822685078642]
本稿では,2段階のテキスト・ツー・3D生成システムである3DTopiaについて述べる。
3次元データから直接学習される3次元拡散の第1段階のサンプルは、テキスト条件付き3次元潜伏拡散モデルを用いており、高速なプロトタイピングのための粗い3次元サンプルを迅速に生成する。
第2段階は2次元拡散前処理を利用して、粗い3次元モデルのテクスチャを第1段階からさらに洗練し、高品質なテクスチャ生成のための潜時空間と画素空間の最適化からなる。
論文 参考訳(メタデータ) (2024-03-04T17:26:28Z) - GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging
2D and 3D Diffusion Models [106.06810278075223]
2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。
3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。
本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
論文 参考訳(メタデータ) (2023-10-12T17:22:24Z) - DiffComplete: Diffusion-based Generative 3D Shape Completion [114.43353365917015]
3次元レンジスキャンにおける形状完成のための拡散に基づく新しいアプローチを提案する。
私たちはリアリズム、マルチモダリティ、高忠実さのバランスを取ります。
DiffCompleteは2つの大規模3次元形状補完ベンチマークに新しいSOTA性能を設定する。
論文 参考訳(メタデータ) (2023-06-28T16:07:36Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳(メタデータ) (2023-03-29T07:35:56Z) - Zero3D: Semantic-Driven Multi-Category 3D Shape Generation [15.665757749429702]
以前の作業では、単一カテゴリの生成、低周波の3D詳細、トレーニングのために多数のペアデータセットを必要とする問題に直面していた。
これらの課題に対処するために,多カテゴリー条件拡散モデルを提案する。
マルチカテゴリ形状ベクトルを条件とした隠れ層拡散モデルを用いて、トレーニング時間とメモリ消費を大幅に削減する。
論文 参考訳(メタデータ) (2023-01-31T12:43:54Z) - Point-E: A System for Generating 3D Point Clouds from Complex Prompts [15.872304376606223]
本稿では,1つのGPU上でわずか1~2分で3Dモデルを生成する3Dオブジェクト生成法を提案する。
提案手法は,まずテキスト・画像拡散モデルを用いて単一合成ビューを生成し,次いで生成した画像に条件付けした第2拡散モデルを用いて3次元点雲を生成する。
サンプルの品質という点では,我々の手法はまだ最先端には達していないが,サンプルの処理は最大で1~2桁高速であり,いくつかのユースケースにおいて実用的なトレードオフを提供する。
論文 参考訳(メタデータ) (2022-12-16T23:22:59Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳(メタデータ) (2022-11-30T01:55:52Z) - AutoSDF: Shape Priors for 3D Completion, Reconstruction and Generation [29.018733252938926]
パワフルな事前処理によって、不十分な情報で推論を実行できます。
本稿では, 形状完了, 復元, 生成といったマルチモーダルな3次元課題を解決するために, 3次元形状に対する自己回帰前処理を提案する。
論文 参考訳(メタデータ) (2022-03-17T17:59:54Z) - Generative VoxelNet: Learning Energy-Based Models for 3D Shape Synthesis
and Analysis [143.22192229456306]
本稿では,体積形状を表す3次元エネルギーモデルを提案する。
提案モデルの利点は6倍である。
実験により,提案モデルが高品質な3d形状パターンを生成できることが実証された。
論文 参考訳(メタデータ) (2020-12-25T06:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。