論文の概要: BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis
- arxiv url: http://arxiv.org/abs/2403.11273v1
- Date: Sun, 17 Mar 2024 17:04:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:36:46.827179
- Title: BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis
- Title（参考訳）: BrightDreamer: 高速テキストから3D合成のための3Dガウス生成フレームワーク
- Authors: Lutao Jiang, Lin Wang,
- Abstract要約: 本稿ではBrightDreamerについて述べる。BrightDreamerは、汎用的で高速(77ms)なテキスト・ツー・3D生成を実現するエンドツーエンドのシングルステージ・アプローチである。
まず、変形形状とその新しい位置を予測するために、テキスト誘導形状変形(TSD)ネットワークを提案する。
次に、3次元オブジェクトの3次元表現を生成するための新しいテキスト誘導三平面発電機を設計する。
- 参考スコア（独自算出の注目度）: 9.376238965029819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-3D synthesis has recently seen intriguing advances by combining the text-to-image models with 3D representation methods, e.g., Gaussian Splatting (GS), via Score Distillation Sampling (SDS). However, a hurdle of existing methods is the low efficiency, per-prompt optimization for a single 3D object. Therefore, it is imperative for a paradigm shift from per-prompt optimization to one-stage generation for any unseen text prompts, which yet remains challenging. A hurdle is how to directly generate a set of millions of 3D Gaussians to represent a 3D object. This paper presents BrightDreamer, an end-to-end single-stage approach that can achieve generalizable and fast (77 ms) text-to-3D generation. Our key idea is to formulate the generation process as estimating the 3D deformation from an anchor shape with predefined positions. For this, we first propose a Text-guided Shape Deformation (TSD) network to predict the deformed shape and its new positions, used as the centers (one attribute) of 3D Gaussians. To estimate the other four attributes (i.e., scaling, rotation, opacity, and SH coefficient), we then design a novel Text-guided Triplane Generator (TTG) to generate a triplane representation for a 3D object. The center of each Gaussian enables us to transform the triplane feature into the four attributes. The generated 3D Gaussians can be finally rendered at 705 frames per second. Extensive experiments demonstrate the superiority of our method over existing methods. Also, BrightDreamer possesses a strong semantic understanding capability even for complex text prompts. The project code is available at https://vlislab22.github.io/BrightDreamer.
- Abstract（参考訳）: テキスト・ツー・3D合成は、テキスト・ツー・イメージ・モデルと3D表現法、例えばガウス・スティング(GS)を組み合わせたスコア蒸留サンプリング(SDS)によって、近年興味深い進歩を遂げている。
しかし、既存の手法のハードルは、単一の3Dオブジェクトに対する低効率でプロンプトごとの最適化である。
したがって、未確認のテキストプロンプトに対して、プロンプトごとの最適化からワンステージ生成へのパラダイムシフトが必須である。
ハードルは、3Dオブジェクトを表現するために、何百万もの3Dガウシアンを直接生成する方法だ。
本稿ではBrightDreamerについて述べる。BrightDreamerは、汎用的で高速(77ms)なテキスト・ツー・3D生成を実現するエンドツーエンドのシングルステージ・アプローチである。
我々のキーとなる考え方は、アンカー形状からの3次元変形を予め定義された位置で推定する生成過程を定式化することである。
そこで本研究では,まず3次元ガウスの中心となる変形形状とその新しい位置を予測するためのテキスト誘導形状変形(TSD)ネットワークを提案する。
その他の4つの属性(すなわち、スケーリング、回転、不透明度、SH係数)を推定するために、新しいテキスト誘導三葉飛行機発電機(TTG)を設計し、3Dオブジェクトのための三葉飛行機表現を生成する。
各ガウスの中心は、三面体の特徴を4つの属性に変換することができる。
生成された3Dガウスアンは、最終的に毎秒705フレームでレンダリングできる。
実験により,本手法が既存手法よりも優れていることを示す。
また、BrightDreamerは複雑なテキストプロンプトであっても強力な意味理解能力を持っている。
プロジェクトのコードはhttps://vlislab22.github.io/BrightDreamer.comで公開されている。
関連論文リスト
- A General Framework to Boost 3D GS Initialization for Text-to-3D Generation by Lexical Richness [10.09002362480534]
本稿では,3次元GS初期化を3次元から3次元に拡張する手法を提案する。
私たちのキーとなるアイデアは、複雑な形状を表すために3Dガウスを空間的に均一なボクセルにまとめることです。
私たちのフレームワークは、セマンティックに一貫したテキストから3D生成のために、例えばLucidDreamerのようなSoTAトレーニングフレームワークにシームレスにプラグインすることができます。
論文 参考訳（メタデータ） (2024-08-02T13:46:15Z) - DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-06-06T17:58:15Z) - GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。
本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
論文 参考訳（メタデータ） (2024-03-19T17:57:52Z) - Hyper-3DG: Text-to-3D Gaussian Generation via Hypergraph [20.488040789522604]
本稿では,ハイパーグラフ(Hyper-3DG)を用いた3次元ガウス生成法を提案する。
本フレームワークは, 凝集度を最適化し, 劣化を効果的に回避し, 微細に生成した3Dオブジェクトの創出を可能にする。
論文 参考訳（メタデータ） (2024-03-14T09:59:55Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳（メタデータ） (2023-12-21T11:41:02Z) - Instant3D: Instant Text-to-3D Generation [101.25562463919795]
Instant3Dと呼ばれる高速テキストから3D生成のための新しいフレームワークを提案する。
Instant3Dはフィードフォワードネットワークの単一実行で1秒未満で、目に見えないテキストプロンプトのための3Dオブジェクトを作成することができる。
論文 参考訳（メタデータ） (2023-11-14T18:59:59Z) - GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。
3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。
本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
論文 参考訳（メタデータ） (2023-10-12T17:22:24Z) - Text-to-3D using Gaussian Splatting [18.163413810199234]
本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。
GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。
我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
論文 参考訳（メタデータ） (2023-09-28T16:44:31Z) - Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and
Text-to-Image Diffusion Models [44.34479731617561]
我々はCLIP誘導3次元最適化プロセスに明示的な3次元形状前処理を導入する。
テキストと画像のモダリティを直接、強力なテキストと画像の拡散モデルでブリッジする、シンプルで効果的なアプローチを提案する。
提案手法であるDream3Dは,視覚的品質と形状の精度に優れた想像的3Dコンテンツを生成することができる。
論文 参考訳（メタデータ） (2022-12-28T18:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。