論文の概要: PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping

• arxiv url: http://arxiv.org/abs/2403.08252v1
• Date: Wed, 13 Mar 2024 05:08:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:50:10.494279
• Title: PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping
• Title（参考訳）: PNeSM: プロンプト型ニューラルスタイルによる任意3次元スチル化 地図
• Authors: Jiafu Chen, Wei Xing, Jiakai Sun, Tianyi Chu, Yiling Huang, Boyan Ji, Lei Zhao, Huaizhong Lin, Haibo Chen, Zhizhong Wang
• Abstract要約: 3Dシーンスタイリング(3D scene stylization)とは、3Dシーンの外観を、所定のスタイルのイメージに合わせるように変換することである。 既存のいくつかの手法は、3Dシーンのスタイリングにおいて印象的な結果を得た。 任意のシーンに任意のスタイルを転送する新しい3Dシーンスタイリングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.506819625584654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D scene stylization refers to transform the appearance of a 3D scene to match a given style image, ensuring that images rendered from different viewpoints exhibit the same style as the given style image, while maintaining the 3D consistency of the stylized scene. Several existing methods have obtained impressive results in stylizing 3D scenes. However, the models proposed by these methods need to be re-trained when applied to a new scene. In other words, their models are coupled with a specific scene and cannot adapt to arbitrary other scenes. To address this issue, we propose a novel 3D scene stylization framework to transfer an arbitrary style to an arbitrary scene, without any style-related or scene-related re-training. Concretely, we first map the appearance of the 3D scene into a 2D style pattern space, which realizes complete disentanglement of the geometry and appearance of the 3D scene and makes our model be generalized to arbitrary 3D scenes. Then we stylize the appearance of the 3D scene in the 2D style pattern space via a prompt-based 2D stylization algorithm. Experimental results demonstrate that our proposed framework is superior to SOTA methods in both visual quality and generalization.
• Abstract（参考訳）: 3Dシーンのスタイラス化とは、3Dシーンの外観を変換して、異なる視点からレンダリングされた画像が、スタイル化されたシーンの3D一貫性を維持しながら、所定のスタイルイメージと同一のスタイルを確実にすることである。 既存のいくつかの手法は、3Dシーンのスタイリングにおいて印象的な結果を得た。 しかし、これらの手法によって提案されるモデルは、新しいシーンに適用した場合に再訓練される必要がある。 言い換えれば、それらのモデルは特定のシーンと結合され、任意の他のシーンに適応できない。 この問題に対処するために,任意のスタイルを任意のシーンに転送する新しい3Dシーンスタイリングフレームワークを提案する。 具体的には、まず3Dシーンの外観を2Dスタイルのパターン空間にマッピングし、3Dシーンの形状と外観の完全な切り離しを実現し、我々のモデルを任意の3Dシーンに一般化する。 次に、プロンプトベースの2Dスタイリングアルゴリズムを用いて、2Dスタイルのパターン空間における3Dシーンの外観をスタイリングする。 実験の結果,提案手法は視覚的品質と一般化の両方においてSOTA法よりも優れていることがわかった。

関連論文リスト

• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
  スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。 本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。 様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
  論文  参考訳（メタデータ） (2024-07-12T17:55:08Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
  本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。 我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
  論文  参考訳（メタデータ） (2023-09-03T19:32:49Z)
• CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer [41.388313754081544]
  言語誘導型任意型ニューラルスタイル転送法(CLIP3Dstyler)を提案する。 従来の2D手法であるCLIPStylerと比較して、3Dシーンをスタイリングし、モデルを再訓練することなく新しいシーンに一般化することができる。 我々は,テキスト誘導型3次元シーン転送におけるモデルの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-05-25T05:30:13Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene [2.1033122829097484]
  3Dシーンのフォトリアリスティックなスタイリゼーションは、与えられたスタイルの画像に従って任意の新しいビューからフォトリアリスティックな画像を生成することを目的としている。 ニューラルラディアンスフィールドを持つ既存のスタイリング手法は、スタイリングされたシーンを効果的に予測することができる。 本稿では,これらの問題に対処する新しい3Dシーン光写実的スタイル転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-15T08:17:35Z)
• StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning [50.65015652968839]
  3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。 最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。 本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:29:50Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。