論文の概要: GradeADreamer: Enhanced Text-to-3D Generation Using Gaussian Splatting and Multi-View Diffusion
- arxiv url: http://arxiv.org/abs/2406.09850v1
- Date: Fri, 14 Jun 2024 08:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 14:24:30.134033
- Title: GradeADreamer: Enhanced Text-to-3D Generation Using Gaussian Splatting and Multi-View Diffusion
- Title(参考訳): GradeADreamer: Gassian SplattingとMulti-View Diffusionを用いたテキスト・ツー・3D生成
- Authors: Trapoom Ukarapol, Kevin Pruvost,
- Abstract要約: GradeADreamerと呼ばれる新しい3段階トレーニングパイプラインを導入する。
このパイプラインは、30分未満の総生成時間で高品質な資産を生産することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-3D generation has shown promising results, yet common challenges such as the Multi-face Janus problem and extended generation time for high-quality assets. In this paper, we address these issues by introducing a novel three-stage training pipeline called GradeADreamer. This pipeline is capable of producing high-quality assets with a total generation time of under 30 minutes using only a single RTX 3090 GPU. Our proposed method employs a Multi-view Diffusion Model, MVDream, to generate Gaussian Splats as a prior, followed by refining geometry and texture using StableDiffusion. Experimental results demonstrate that our approach significantly mitigates the Multi-face Janus problem and achieves the highest average user preference ranking compared to previous state-of-the-art methods. The project code is available at https://github.com/trapoom555/GradeADreamer.
- Abstract(参考訳): テキスト・ツー・3D生成は有望な結果を示しているが、マルチフェイス・ジャナス問題や高品質資産の延長といった共通の課題がある。
本稿では,新しい3段階学習パイプラインである GradeADreamer を導入することで,これらの課題に対処する。
このパイプラインは、RTX 3090 GPUのみを使用して、総生成時間30分未満の高品質なアセットを生成することができる。
提案手法では,複数ビュー拡散モデルであるMVDreamを用いてガウススプラッツを先行して生成し,次いでスタブルディフュージョンを用いて幾何やテクスチャを精製する。
実験の結果,提案手法はマルチフェイス・ジャナス問題を大幅に軽減し,従来の最先端手法と比較して平均ユーザ嗜好ランキングを最大に達成していることがわかった。
プロジェクトコードはhttps://github.com/trapoom555/GradeADreamer.comで公開されている。
関連論文リスト
- GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality [99.63429416013713]
3D-GSは現実世界のシーンの再構築とレンダリングで大きな成功を収めた。
高いレンダリング品質を生成タスクに転送するために、テキストから3Dガウス資産を生成するための一連の研究が進められている。
生成品質を向上させるため,GaussianDreamerProという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-26T16:12:09Z) - VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。
PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。
そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
論文 参考訳(メタデータ) (2024-06-21T08:21:52Z) - GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。
本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
論文 参考訳(メタデータ) (2024-03-19T17:57:52Z) - 3DTopia: Large Text-to-3D Generation Model with Hybrid Diffusion Priors [85.11117452560882]
本稿では,2段階のテキスト・ツー・3D生成システムである3DTopiaについて述べる。
3次元データから直接学習される3次元拡散の第1段階のサンプルは、テキスト条件付き3次元潜伏拡散モデルを用いており、高速なプロトタイピングのための粗い3次元サンプルを迅速に生成する。
第2段階は2次元拡散前処理を利用して、粗い3次元モデルのテクスチャを第1段階からさらに洗練し、高品質なテクスチャ生成のための潜時空間と画素空間の最適化からなる。
論文 参考訳(メタデータ) (2024-03-04T17:26:28Z) - DreamPropeller: Supercharge Text-to-3D Generation with Parallel Sampling [69.84233945649194]
そこで我々はDreamPropellerを提案する。DreamPropellerは、既存のテキストから3D生成パイプラインの周囲を、スコアの蒸留に基づいてラップできる加速アルゴリズムである。
我々のフレームワークは、ODEパスを並列サンプリングする古典的なアルゴリズムであるPicardイテレーションを一般化する。
提案アルゴリズムは, 並列計算をウォールクロック時間で処理し, 最大4.7倍の高速化を実現する。
論文 参考訳(メタデータ) (2023-11-28T01:28:58Z) - LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval
Score Matching [33.696757740830506]
テキストから3D生成の最近の進歩は、将来性を示している。
多くの手法がSDS(Score Distillation Sampling)に基づいている。
オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
論文 参考訳(メタデータ) (2023-11-19T09:59:09Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳(メタデータ) (2023-09-28T17:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。