論文の概要: Shap-E: Generating Conditional 3D Implicit Functions
- arxiv url: http://arxiv.org/abs/2305.02463v1
- Date: Wed, 3 May 2023 23:59:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 17:35:02.231811
- Title: Shap-E: Generating Conditional 3D Implicit Functions
- Title（参考訳）: Shap-E: 条件付き3Dインシシタ関数の生成
- Authors: Heewoo Jun, Alex Nichol
- Abstract要約: Shap-Eは3Dアセットの条件付き生成モデルである。
まず、3Dアセットを暗黙の関数のパラメータに決定的にマッピングするエンコーダを訓練する。
ペア化された3Dデータとテキストデータの大規模なデータセットでトレーニングすると、得られたモデルは、数秒で複雑で多様な3Dアセットを生成することができる。
- 参考スコア（独自算出の注目度）: 7.603750555294962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Shap-E, a conditional generative model for 3D assets. Unlike
recent work on 3D generative models which produce a single output
representation, Shap-E directly generates the parameters of implicit functions
that can be rendered as both textured meshes and neural radiance fields. We
train Shap-E in two stages: first, we train an encoder that deterministically
maps 3D assets into the parameters of an implicit function; second, we train a
conditional diffusion model on outputs of the encoder. When trained on a large
dataset of paired 3D and text data, our resulting models are capable of
generating complex and diverse 3D assets in a matter of seconds. When compared
to Point-E, an explicit generative model over point clouds, Shap-E converges
faster and reaches comparable or better sample quality despite modeling a
higher-dimensional, multi-representation output space. We release model
weights, inference code, and samples at https://github.com/openai/shap-e.
- Abstract（参考訳）: 本稿では,3次元資産の条件付き生成モデルShap-Eを提案する。
単一の出力表現を生成する3D生成モデルに関する最近の研究とは異なり、Shap-Eはテクスチャメッシュとニューラル放射場の両方として描画できる暗黙関数のパラメータを直接生成する。
第一に、3Dアセットを暗黙関数のパラメータに決定的にマッピングするエンコーダを訓練し、第二に、エンコーダの出力に対して条件拡散モデルを訓練する。
ペア化された3Dデータとテキストデータの大規模なデータセットでトレーニングすると、得られたモデルは、数秒で複雑で多様な3Dアセットを生成することができる。
点雲上の明示的な生成モデルであるpoint-eと比較すると、shap-eはより高速に収束し、高次元の多表現出力空間をモデル化したにもかかわらず、同等かそれ以上のサンプル品質に達する。
私たちはモデルウェイト、推論コード、サンプルをhttps://github.com/openai/shap-eでリリースします。
関連論文リスト
- GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-06-06T17:58:15Z) - SuperGaussian: Repurposing Video Models for 3D Super Resolution [67.19266415499139]
本稿では,幾何学的および外観的詳細を付加することにより,粗い3次元モデルをアップサンプルする,単純でモジュラーで汎用的な手法を提案する。
既存の3次元超解像モデルを直接再利用できることを実証する。
論文 参考訳（メタデータ） (2024-06-02T03:44:50Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2024-03-14T07:39:59Z) - GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。
3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。
本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
論文 参考訳（メタデータ） (2023-10-12T17:22:24Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳（メタデータ） (2023-03-29T07:35:56Z) - Zero3D: Semantic-Driven Multi-Category 3D Shape Generation [15.665757749429702]
以前の作業では、単一カテゴリの生成、低周波の3D詳細、トレーニングのために多数のペアデータセットを必要とする問題に直面していた。
これらの課題に対処するために,多カテゴリー条件拡散モデルを提案する。
マルチカテゴリ形状ベクトルを条件とした隠れ層拡散モデルを用いて、トレーニング時間とメモリ消費を大幅に削減する。
論文 参考訳（メタデータ） (2023-01-31T12:43:54Z) - Point-E: A System for Generating 3D Point Clouds from Complex Prompts [15.872304376606223]
本稿では,1つのGPU上でわずか1～2分で3Dモデルを生成する3Dオブジェクト生成法を提案する。
提案手法は,まずテキスト・画像拡散モデルを用いて単一合成ビューを生成し,次いで生成した画像に条件付けした第2拡散モデルを用いて3次元点雲を生成する。
サンプルの品質という点では,我々の手法はまだ最先端には達していないが,サンプルの処理は最大で1～2桁高速であり,いくつかのユースケースにおいて実用的なトレードオフを提供する。
論文 参考訳（メタデータ） (2022-12-16T23:22:59Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳（メタデータ） (2022-11-30T01:55:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。