論文の概要: StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions
- arxiv url: http://arxiv.org/abs/2112.01530v1
- Date: Thu, 2 Dec 2021 18:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 16:59:48.670378
- Title: StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions
- Title(参考訳): stylemesh:屋内3dシーン復元のためのスタイル転送
- Authors: Lukas H\"ollein, Justin Johnson, Matthias Nie{\ss}ner
- Abstract要約: 屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
- 参考スコア(独自算出の注目度): 11.153966202832933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We apply style transfer on mesh reconstructions of indoor scenes. This
enables VR applications like experiencing 3D environments painted in the style
of a favorite artist. Style transfer typically operates on 2D images, making
stylization of a mesh challenging. When optimized over a variety of poses,
stylization patterns become stretched out and inconsistent in size. On the
other hand, model-based 3D style transfer methods exist that allow stylization
from a sparse set of images, but they require a network at inference time. To
this end, we optimize an explicit texture for the reconstructed mesh of a scene
and stylize it jointly from all available input images. Our depth- and
angle-aware optimization leverages surface normal and depth data of the
underlying mesh to create a uniform and consistent stylization for the whole
scene. Our experiments show that our method creates sharp and detailed results
for the complete scene without view-dependent artifacts. Through extensive
ablation studies, we show that the proposed 3D awareness enables style transfer
to be applied to the 3D domain of a mesh. Our method can be used to render a
stylized mesh in real-time with traditional rendering pipelines.
- Abstract(参考訳): 屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
スタイル転送は通常2Dイメージで動作するため、メッシュのスタイル化は難しい。
様々なポーズに最適化されると、スタイライゼーションパターンは伸縮し、サイズが矛盾する。
一方,画像のスパース集合からのスタイリングが可能なモデルベースの3Dスタイル転送手法は存在するが,推論時にネットワークを必要とする。
この目的のために、シーンの再構成メッシュに対して明示的なテクスチャを最適化し、利用可能なすべての入力画像から協調的にスタイリングする。
奥行き・角度認識最適化は、基盤となるメッシュの表面正規データと奥行きデータを利用して、シーン全体の統一的かつ一貫したスタイライゼーションを作成する。
実験の結果,ビュー依存のアーティファクトを使わずに,全シーンのシャープで詳細な結果が得られた。
広範なアブレーション研究を通じて,提案する3次元認識により,メッシュの3次元領域にスタイルトランスファーを適用することができることを示した。
本手法は,従来のレンダリングパイプラインを用いて,スタイライズされたメッシュをリアルタイムにレンダリングするために使用できる。
関連論文リスト
- PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style
Mapping [16.506819625584654]
3Dシーンスタイリング(3D scene stylization)とは、3Dシーンの外観を、所定のスタイルのイメージに合わせるように変換することである。
既存のいくつかの手法は、3Dシーンのスタイリングにおいて印象的な結果を得た。
任意のシーンに任意のスタイルを転送する新しい3Dシーンスタイリングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-13T05:08:47Z) - Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D
Strokes [20.340259111585873]
ニューラル3Dストロークス(Neural 3D Strokes)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。
提案手法は,ベクトルストロークによる人間のアートワークのプログレッシブ・ペインティングの過程をシミュレートし,イメージ・ツー・ペインティング法からインスピレーションを得ている。
論文 参考訳(メタデータ) (2023-11-27T09:02:21Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳(メタデータ) (2023-11-09T15:51:27Z) - S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。
我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
論文 参考訳(メタデータ) (2023-09-03T19:32:49Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-19T07:22:05Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳(メタデータ) (2023-03-27T10:07:52Z) - UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance
Fields for 3D Scene [2.1033122829097484]
3Dシーンのフォトリアリスティックなスタイリゼーションは、与えられたスタイルの画像に従って任意の新しいビューからフォトリアリスティックな画像を生成することを目的としている。
ニューラルラディアンスフィールドを持つ既存のスタイリング手法は、スタイリングされたシーンを効果的に予測することができる。
本稿では,これらの問題に対処する新しい3Dシーン光写実的スタイル転送フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-15T08:17:35Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:55:31Z) - 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style
Variations [81.45521258652734]
本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。
提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
論文 参考訳(メタデータ) (2021-08-30T02:28:31Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳(メタデータ) (2021-05-27T23:58:18Z) - Exemplar-Based 3D Portrait Stylization [23.585334925548064]
ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。
形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。
本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
論文 参考訳(メタデータ) (2021-04-29T17:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。