論文の概要: StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions
- arxiv url: http://arxiv.org/abs/2112.01530v1
- Date: Thu, 2 Dec 2021 18:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 16:59:48.670378
- Title: StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions
- Title（参考訳）: stylemesh:屋内3dシーン復元のためのスタイル転送
- Authors: Lukas H\"ollein, Justin Johnson, Matthias Nie{\ss}ner
- Abstract要約: 屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
- 参考スコア（独自算出の注目度）: 11.153966202832933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We apply style transfer on mesh reconstructions of indoor scenes. This
enables VR applications like experiencing 3D environments painted in the style
of a favorite artist. Style transfer typically operates on 2D images, making
stylization of a mesh challenging. When optimized over a variety of poses,
stylization patterns become stretched out and inconsistent in size. On the
other hand, model-based 3D style transfer methods exist that allow stylization
from a sparse set of images, but they require a network at inference time. To
this end, we optimize an explicit texture for the reconstructed mesh of a scene
and stylize it jointly from all available input images. Our depth- and
angle-aware optimization leverages surface normal and depth data of the
underlying mesh to create a uniform and consistent stylization for the whole
scene. Our experiments show that our method creates sharp and detailed results
for the complete scene without view-dependent artifacts. Through extensive
ablation studies, we show that the proposed 3D awareness enables style transfer
to be applied to the 3D domain of a mesh. Our method can be used to render a
stylized mesh in real-time with traditional rendering pipelines.
- Abstract（参考訳）: 屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
スタイル転送は通常2Dイメージで動作するため、メッシュのスタイル化は難しい。
様々なポーズに最適化されると、スタイライゼーションパターンは伸縮し、サイズが矛盾する。
一方,画像のスパース集合からのスタイリングが可能なモデルベースの3Dスタイル転送手法は存在するが,推論時にネットワークを必要とする。
この目的のために、シーンの再構成メッシュに対して明示的なテクスチャを最適化し、利用可能なすべての入力画像から協調的にスタイリングする。
奥行き・角度認識最適化は、基盤となるメッシュの表面正規データと奥行きデータを利用して、シーン全体の統一的かつ一貫したスタイライゼーションを作成する。
実験の結果,ビュー依存のアーティファクトを使わずに,全シーンのシャープで詳細な結果が得られた。
広範なアブレーション研究を通じて,提案する3次元認識により,メッシュの3次元領域にスタイルトランスファーを適用することができることを示した。
本手法は,従来のレンダリングパイプラインを用いて,スタイライズされたメッシュをリアルタイムにレンダリングするために使用できる。
関連論文リスト
- StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。
本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。
様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
論文 参考訳（メタデータ） (2024-07-12T17:55:08Z) - Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。
我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。
本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
論文 参考訳（メタデータ） (2024-06-19T09:36:18Z) - StyleCity: Large-Scale 3D Urban Scenes Stylization [16.017767577678253]
StyleCityは、大規模都市シーンのための視覚とテキストによるテクスチャスタイリングシステムである。
StyleCityは、大規模な都市シーンの3Dテクスチャメッシュをセマンティックスに意識したスタイルでスタイリングする。
論文 参考訳（メタデータ） (2024-04-16T15:58:49Z) - LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example [5.999050119438177]
所望のトポロジを持つ高度にスタイリングされた3次元顔モデルを作成する方法を提案する。
提案手法は3DMMを用いて表面変形ネットワークをトレーニングし,その領域を微分可能なメッシュと方向CLIP損失を用いて対象に翻訳する。
ネットワークは、差別化可能なメッシュと指向的なCLIP損失を使用して、ターゲットのスタイルを模倣することにより、3Dフェイスメッシュのスタイリングを実現する。
論文 参考訳（メタデータ） (2024-03-22T14:20:54Z) - Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D
Strokes [20.340259111585873]
ニューラル3Dストロークス(Neural 3D Strokes)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。
提案手法は,ベクトルストロークによる人間のアートワークのプログレッシブ・ペインティングの過程をシミュレートし,イメージ・ツー・ペインティング法からインスピレーションを得ている。
論文 参考訳（メタデータ） (2023-11-27T09:02:21Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳（メタデータ） (2023-11-09T15:51:27Z) - S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。
我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
論文 参考訳（メタデータ） (2023-09-03T19:32:49Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T07:22:05Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:55:31Z) - 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style
Variations [81.45521258652734]
本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。
提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
論文 参考訳（メタデータ） (2021-08-30T02:28:31Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳（メタデータ） (2021-05-27T23:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。