論文の概要: StyleCity: Large-Scale 3D Urban Scenes Stylization with Vision-and-Text Reference via Progressive Optimization
- arxiv url: http://arxiv.org/abs/2404.10681v1
- Date: Tue, 16 Apr 2024 15:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 16:14:57.620489
- Title: StyleCity: Large-Scale 3D Urban Scenes Stylization with Vision-and-Text Reference via Progressive Optimization
- Title（参考訳）: StyleCity: プログレッシブ最適化による視覚・テキスト参照による大規模3次元都市景観のスタイリング
- Authors: Yingshu Chen, Huajian Huang, Tuan-Anh Vu, Ka Chun Shum, Sai-Kit Yeung,
- Abstract要約: StyleCityは、大規模都市シーンのための視覚とテキストによるテクスチャスタイリングシステムである。
StyleCityは、大規模な都市シーンの3Dテクスチャメッシュをセマンティックスに意識したスタイルでスタイリングする。
- 参考スコア（独自算出の注目度）: 16.017767577678253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating large-scale virtual urban scenes with variant styles is inherently challenging. To facilitate prototypes of virtual production and bypass the need for complex materials and lighting setups, we introduce the first vision-and-text-driven texture stylization system for large-scale urban scenes, StyleCity. Taking an image and text as references, StyleCity stylizes a 3D textured mesh of a large-scale urban scene in a semantics-aware fashion and generates a harmonic omnidirectional sky background. To achieve that, we propose to stylize a neural texture field by transferring 2D vision-and-text priors to 3D globally and locally. During 3D stylization, we progressively scale the planned training views of the input 3D scene at different levels in order to preserve high-quality scene content. We then optimize the scene style globally by adapting the scale of the style image with the scale of the training views. Moreover, we enhance local semantics consistency by the semantics-aware style loss which is crucial for photo-realistic stylization. Besides texture stylization, we further adopt a generative diffusion model to synthesize a style-consistent omnidirectional sky image, which offers a more immersive atmosphere and assists the semantic stylization process. The stylized neural texture field can be baked into an arbitrary-resolution texture, enabling seamless integration into conventional rendering pipelines and significantly easing the virtual production prototyping process. Extensive experiments demonstrate our stylized scenes' superiority in qualitative and quantitative performance and user preferences.
- Abstract（参考訳）: さまざまなスタイルで大規模な仮想都市シーンを作ることは、本質的に困難である。
仮想制作のプロトタイプを容易にし,複雑な材料や照明設備の必要を回避すべく,大規模な都市シーンを対象とした視覚・テキスト駆動型テクスチャスタイリングシステムであるStyleCityを紹介した。
画像とテキストを参照として、StyleCityは、大都市シーンの3次元テクスチャメッシュを意味論的に認識し、調和した全方位空背景を生成する。
そこで我々は,2次元の視覚とテクスチャをグローバルかつ局所的に3Dに転送することで,ニューラルネットワークのテクスチャフィールドをスタイリングすることを提案する。
3Dスタイリングでは,高品質なシーンコンテンツを保存するために,入力された3Dシーンのトレーニングビューを異なるレベルに段階的に拡大する。
次に、トレーニングビューのスケールにスタイルイメージのスケールを適用することで、世界規模でシーンスタイルを最適化する。
さらに,写真リアリスティックなスタイリゼーションに不可欠なセマンティクス・アウェアスタイルの損失によって,局所的なセマンティクスの整合性を向上させる。
テクスチャのスタイリゼーションに加えて,より没入的な雰囲気を提供し,セマンティックなスタイリゼーションプロセスを支援する,スタイルに一貫性のある全方位スカイイメージを合成するための生成拡散モデルも導入する。
スタイリングされたニューラルテクスチャフィールドを任意の解像度のテクスチャに焼き込むことができ、従来のレンダリングパイプラインへのシームレスな統合を可能にし、仮想生産プロトタイピングプロセスを大幅に緩和することができる。
大規模な実験は、質的で定量的なパフォーマンスとユーザの嗜好において、スタイリングされたシーンの優越性を実証する。
関連論文リスト
- HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。
フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。
そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
論文 参考訳（メタデータ） (2024-07-21T14:52:51Z) - StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。
本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。
様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
論文 参考訳（メタデータ） (2024-07-12T17:55:08Z) - Stylizing Sparse-View 3D Scenes with Hierarchical Neural Representation [0.0]
事前訓練されたニューラル放射場(NeRF)のシーン再構成力を利用する3Dスタイルのトランスファー手法の急増が提案されている。
本稿では,コンテンツセマンティクスとスタイルテクスチャの分離の観点から,スパースビューシーンのスタイリングについて考察する。
新しい階層的エンコーディングに基づくニューラル表現は、暗黙のシーン表現から直接高品質なスタイリングされたシーンを生成するように設計されている。
論文 参考訳（メタデータ） (2024-04-08T07:01:42Z) - Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects [84.45345829270626]
制御可能な3D屋内シーン合成は、技術進歩の最前線にある。
シーンスタイリングの現在の手法は、シーン全体にスタイルを適用することに限定されている。
室内3Dシーンを合成するためのユニークなパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-24T03:10:36Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳（メタデータ） (2024-01-17T18:55:49Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳（メタデータ） (2023-12-13T18:59:30Z) - S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。
我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
論文 参考訳（メタデータ） (2023-09-03T19:32:49Z) - NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion
Models [85.20004959780132]
複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。
NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
論文 参考訳（メタデータ） (2023-04-19T16:13:21Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳（メタデータ） (2021-12-02T18:59:59Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳（メタデータ） (2021-05-27T23:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。