論文の概要: Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches
- arxiv url: http://arxiv.org/abs/2408.04567v1
- Date: Thu, 8 Aug 2024 16:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 15:08:24.417781
- Title: Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches
- Title（参考訳）: Sketch2Scene: ユーザのCasual Sketchesからインタラクティブな3Dゲームシーンの自動生成
- Authors: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li,
- Abstract要約: 3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。
本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
- 参考スコア（独自算出の注目度）: 50.51643519253066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.
- Abstract（参考訳）: 3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。
本稿では,手書きスケッチのようなユーザのカジュアルなプロンプトから,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成する,新たなディープラーニングベースのアプローチを提案する。
スケッチベースの入力は、コンテンツ作成プロセスにおいてユーザの設計意図を伝える自然な、便利な方法を提供する。
学習におけるデータ不足の課題(すなわち3次元シーンの大規模な訓練データ不足)を回避するため,事前学習した2次元デノナイズ拡散モデルを用いて,シーンの2次元イメージを概念的ガイダンスとして生成する。
このプロセスでは、シーンレイアウトを取得しながら、未知のカメラのポーズを判断するために、等尺射影モードを採用する。
生成した等尺画像から、事前学習した画像理解手法を用いて、画像をオフグラウンドオブジェクト、木、建物などの意味のある部分に分割し、2次元のシーンレイアウトを抽出する。
これらのセグメントとレイアウトはその後、UnityやUnrealのような3Dビデオゲームエンジンのようなプロシージャコンテンツ生成(PCG)エンジンに供給され、3Dシーンを生成する。
結果の3Dシーンは、シームレスにゲーム開発環境に統合することができ、容易にプレイできる。
本手法は,ユーザの意図に忠実に追従したレイアウトで,高品質でインタラクティブな3Dゲームシーンを効率よく生成できることを示す。
関連論文リスト
- SceneTeller: Language-to-3D Scene Generation [15.209079637302905]
本手法では,室内の物体配置を自然言語で記述し,それに対応する高品質な3Dシーンを生成する。
私たちのターンキーパイプラインは最先端の3Dシーンを生成しますが、初心者でも簡単に使用できます。
論文 参考訳（メタデータ） (2024-07-30T10:45:28Z) - Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳（メタデータ） (2024-07-09T13:24:42Z) - External Knowledge Enhanced 3D Scene Generation from Sketch [49.629444260115676]
本稿では,カスタマイズされた多種多様な3Dシーンを生成するためのスケッチベース知識拡張拡散アーキテクチャ(SEK)を提案する。
まず、オブジェクト関係を含む外部知識ベースを構築し、その後、知識強化グラフ推論を利用して手書きスケッチの理解を支援する。
3D-FRONTデータセットの実験により、我々のモデルは、最も近い競合であるDiffuSceneと比較して、FID、CKLを17.41%改善し、3Dシーン生成で37.18%改善し、FIDを19.12%改善し、20.06%改善した。
論文 参考訳（メタデータ） (2024-03-21T04:24:49Z) - Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。
私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。
単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
論文 参考訳（メタデータ） (2024-02-26T18:54:15Z) - Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。
本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。
次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-07-07T21:38:50Z) - 3D Cinemagraphy from a Single Image [73.09720823592092]
3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。
静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
論文 参考訳（メタデータ） (2023-03-10T06:08:23Z) - SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。
フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
論文 参考訳（メタデータ） (2023-02-02T18:59:16Z) - Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。
提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。
3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
論文 参考訳（メタデータ） (2022-11-25T15:03:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。