論文の概要: WonderWorld: Interactive 3D Scene Generation from a Single Image
- arxiv url: http://arxiv.org/abs/2406.09394v1
- Date: Thu, 13 Jun 2024 17:59:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-06-14 16:06:12.809275
- Title: WonderWorld: Interactive 3D Scene Generation from a Single Image
- Title（参考訳）: ワンダーワールド:1枚の画像からインタラクティブな3Dシーン生成
- Authors: Hong-Xing Yu, Haoyi Duan, Charles Herrmann, William T. Freeman, Jiajun Wu,
- Abstract要約: We present WonderWorld, a novel framework for emphinteractive 3D scene generation。
WonderWorldは、単一のA6000 GPU上で10秒未満で接続された多様な3Dシーンを生成する。
We demonstrate the potential of WonderWorld for application in virtual reality, gaming and creative design。
- 参考スコア（独自算出の注目度）: 38.83667648993784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present WonderWorld, a novel framework for \emph{interactive} 3D scene extrapolation that enables users to explore and shape virtual environments based on a single input image and user-specified text. While significant improvements have been made to the visual quality of scene generation, existing methods are run offline, taking tens of minutes to hours to generate a scene. By leveraging Fast Gaussian Surfels and a guided diffusion-based depth estimation method, WonderWorld generates geometrically consistent extrapolation while significantly reducing computational time. Our framework generates connected and diverse 3D scenes in less than 10 seconds on a single A6000 GPU, enabling real-time user interaction and exploration. We demonstrate the potential of WonderWorld for applications in virtual reality, gaming, and creative design, where users can quickly generate and navigate immersive, potentially infinite virtual worlds from a single image. Our approach represents a significant advancement in interactive 3D scene generation, opening up new possibilities for user-driven content creation and exploration in virtual environments. We will release full code and software for reproducibility. Project website: https://WonderWorld-2024.github.io/
- Abstract（参考訳）: We present WonderWorld, a novel framework for \emph{interactive} 3D scene extrapolation that users to explore and shape virtual environment based on a single input image and user-specified text。
シーン生成の視覚的品質は大幅に改善されているが、既存のメソッドはオフラインで実行され、シーンを生成するのに何分から数時間かかる。
高速ガウスサーフェルスと誘導拡散に基づく深さ推定法を利用して、WonderWorldは幾何的に一貫した外挿を生成し、計算時間を著しく短縮する。
このフレームワークは,1つのA6000 GPU上で,接続された多種多様な3Dシーンを10秒未満で生成し,リアルタイムなユーザインタラクションと探索を可能にする。
我々は、仮想現実、ゲーム、クリエイティブデザインにおけるアプリケーションに対するWonderWorldの可能性を示し、ユーザーは単一の画像から没入的で潜在的に無限の仮想世界を素早く生成し、ナビゲートすることができる。
我々のアプローチはインタラクティブな3Dシーン生成において大きな進歩を示し、仮想環境におけるユーザ主導のコンテンツ作成と探索の新たな可能性を開く。
再現性のための完全なコードとソフトウェアをリリースします。
プロジェクトWebサイト: https://WonderWorld-2024.github.io/
関連論文リスト
- WonderTurbo: Generating Interactive 3D World in 0.72 Seconds [29.61066704266084]
我々は,0.72秒以内で3Dシーンの新たな視点を生成できる,初めてのリアルタイムインタラクティブな3Dシーン生成フレームワークであるWonderTurboを紹介する。
具体的には、WonderTurboは幾何学的および外見的モデリングの両方を3Dシーン生成で高速化する。
論文 参考訳（メタデータ） (2025-04-03T04:10:47Z) - WorldPrompter: Traversable Text-to-Scene Generation [18.405299478122693]
テキストプロンプトから可逆3Dシーンを合成するための新しい生成パイプラインであるWorldPrompterを紹介する。
WorldPrompterには条件付き360度パノラマビデオジェネレータが組み込まれており、仮想環境を歩いたり捉えたりする人をシミュレートする128フレームのビデオを生成することができる。
得られたビデオは、高速フィードフォワード3Dコンストラクタによってガウススプラッターとして再構成され、3Dシーン内で真の歩行可能な体験を可能にする。
論文 参考訳（メタデータ） (2025-04-02T18:04:32Z) - SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。
本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2024-10-11T17:59:58Z) - SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。
提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。
SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
論文 参考訳（メタデータ） (2024-08-25T02:56:26Z) - LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。
LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-23T17:50:23Z) - Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。
本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-08T16:27:37Z) - OSN: Infinite Representations of Dynamic 3D Scenes from Monocular Videos [7.616167860385134]
モノクラーRGBビデオから基礎となる動的3Dシーンの表現を復元することは、長い間困難であった。
我々はOSNと呼ばれる新しいフレームワークを導入し、入力ビデオにマッチする高機能な3Dシーン構成を学習する。
本手法は, きめ細かい3次元シーン形状を学習する上で, 明らかな優位性を示す。
論文 参考訳（メタデータ） (2024-07-08T05:03:46Z) - FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting [15.648080938815879]
高速かつ高品質な3Dシーン生成のためのフレームワークであるFastSceneを提案する。
FastSceneは15分以内に3Dシーンを生成することができる。
論文 参考訳（メタデータ） (2024-05-09T13:44:16Z) - Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。
また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
論文 参考訳（メタデータ） (2024-04-30T17:59:40Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - WonderJourney: Going from Anywhere to Everywhere [75.1284367548585]
WonderJourneyは、永続的な3Dシーン生成のためのモジュール化されたフレームワークである。
私たちは多様だがコヒーレントに結びついている3Dシーンの長いシリーズを旅していきます。
私たちは、様々なシーンタイプやスタイルにまたがって、魅力的で多様な視覚結果を示し、想像上の「Wonderjourneys」を形成します。
論文 参考訳（メタデータ） (2023-12-06T20:22:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。