論文の概要: Text2Immersion: Generative Immersive Scene with 3D Gaussians
- arxiv url: http://arxiv.org/abs/2312.09242v1
- Date: Thu, 14 Dec 2023 18:58:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 20:14:29.654814
- Title: Text2Immersion: Generative Immersive Scene with 3D Gaussians
- Title(参考訳): text2immersion: 3d gaussianによる生成的没入シーン
- Authors: Hao Ouyang, Kathryn Heal, Stephen Lombardi, Tiancheng Sun
- Abstract要約: Text2Immersionは、テキストプロンプトから高品質な3D没入シーンを生成するためのエレガントな方法である。
我々のシステムは、品質と多様性をレンダリングする他の手法を超越し、テキスト駆動の3Dシーン生成に向けてさらに前進している。
- 参考スコア(独自算出の注目度): 14.014016090679627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Text2Immersion, an elegant method for producing high-quality 3D
immersive scenes from text prompts. Our proposed pipeline initiates by
progressively generating a Gaussian cloud using pre-trained 2D diffusion and
depth estimation models. This is followed by a refining stage on the Gaussian
cloud, interpolating and refining it to enhance the details of the generated
scene. Distinct from prevalent methods that focus on single object or indoor
scenes, or employ zoom-out trajectories, our approach generates diverse scenes
with various objects, even extending to the creation of imaginary scenes.
Consequently, Text2Immersion can have wide-ranging implications for various
applications such as virtual reality, game development, and automated content
creation. Extensive evaluations demonstrate that our system surpasses other
methods in rendering quality and diversity, further progressing towards
text-driven 3D scene generation. We will make the source code publicly
accessible at the project page.
- Abstract(参考訳): テキストプロンプトから高品質な3d没入シーンを生成するエレガントな方法であるtext2immersionを紹介する。
提案するパイプラインは,事前学習した2次元拡散と深さ推定モデルを用いてガウス雲を漸進的に生成することで開始する。
この後、ガウス雲の精錬段階が進み、それを補間して精錬し、生成されたシーンの詳細が強化される。
一つの物体や屋内シーンに焦点をあてたり、ズームアウトトラジェクトリを使ったりといった一般的な手法とは違って、われわれの手法は様々な物体を持つ多様なシーンを生成する。
その結果、text2immersionは、仮想現実、ゲーム開発、自動コンテンツ作成など、さまざまなアプリケーションに対して幅広い意味を持つことができる。
広範な評価により,本システムは他の手法よりも精度と多様性の面で優れており,さらにテキスト駆動3dシーン生成への進歩が示された。
ソースコードはプロジェクトのページから公開します。
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳(メタデータ) (2024-03-14T14:31:22Z) - VolumeDiffusion: Flexible Text-to-3D Generation with Efficient
Volumetric Encoder [59.436304016347485]
本稿では,テキストから3D生成のための先駆的な3Dエンコーダを提案する。
マルチビュー画像から特徴ボリュームを効率よく取得する軽量ネットワークを開発した。
3Dボリュームは、3D U-Netを使用してテキストから3D生成のための拡散モデルに基づいて訓練される。
論文 参考訳(メタデータ) (2023-12-18T18:59:05Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳(メタデータ) (2023-12-13T18:59:30Z) - LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes [52.31402192831474]
しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。
ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。
LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
論文 参考訳(メタデータ) (2023-11-22T13:27:34Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Text2NeRF: Text-Driven 3D Scene Generation with Neural Radiance Fields [29.907615852310204]
テキストプロンプトから多種多様な3Dシーンを生成できるText2NeRFを提案する。
本手法では,追加のトレーニングデータを必要としないが,入力としてシーンを自然言語で記述するのみである。
論文 参考訳(メタデータ) (2023-05-19T10:58:04Z) - Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。
我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。
これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
論文 参考訳(メタデータ) (2023-03-21T16:21:02Z) - Text-To-4D Dynamic Scene Generation [111.89517759596345]
テキスト記述から3次元動的シーンを生成するMAV3D(Make-A-Video3D)を提案する。
提案手法では, シーンの外観, 密度, 動きの整合性に最適化された4次元動的ニューラルラジアンス場(NeRF)を用いる。
提供されるテキストから出力されるダイナミックビデオは、任意のカメラの位置と角度から見ることができ、任意の3D環境に合成することができる。
論文 参考訳(メタデータ) (2023-01-26T18:14:32Z) - Static and Animated 3D Scene Generation from Free-form Text Descriptions [1.102914654802229]
本研究では,異なるタイプの自由形式のテキストシーン記述から静的な3Dシーンを生成することを目的とした,新しいパイプラインについて検討する。
最初の段階では、エンコーダ-デコーダニューラルアーキテクチャを用いて自由形式のテキストを符号化する。
第2段階では、生成された符号化に基づいて3Dシーンを生成する。
論文 参考訳(メタデータ) (2020-10-04T11:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。