論文の概要: StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D
Mutual Learning
- arxiv url: http://arxiv.org/abs/2205.12183v1
- Date: Tue, 24 May 2022 16:29:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:03:59.668635
- Title: StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D
Mutual Learning
- Title（参考訳）: StylizedNeRF:2D-3D相互学習によるStylizedNeRFとしての連続3次元Scene Stylization
- Authors: Yi-Hua Huang and Yue He and Yu-Jie Yuan and Yu-Kun Lai and Lin Gao
- Abstract要約: 3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。
最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。
本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 50.65015652968839
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D scene stylization aims at generating stylized images of the scene from
arbitrary novel views following a given set of style examples, while ensuring
consistency when rendered from different views. Directly applying methods for
image or video stylization to 3D scenes cannot achieve such consistency. Thanks
to recently proposed neural radiance fields (NeRF), we are able to represent a
3D scene in a consistent way. Consistent 3D scene stylization can be
effectively achieved by stylizing the corresponding NeRF. However, there is a
significant domain gap between style examples which are 2D images and NeRF
which is an implicit volumetric representation. To address this problem, we
propose a novel mutual learning framework for 3D scene stylization that
combines a 2D image stylization network and NeRF to fuse the stylization
ability of 2D stylization network with the 3D consistency of NeRF. We first
pre-train a standard NeRF of the 3D scene to be stylized and replace its color
prediction module with a style network to obtain a stylized NeRF.It is followed
by distilling the prior knowledge of spatial consistency from NeRF to the 2D
stylization network through an introduced consistency loss. We also introduce a
mimic loss to supervise the mutual learning of the NeRF style module and
fine-tune the 2D stylization decoder. In order to further make our model handle
ambiguities of 2D stylization results, we introduce learnable latent codes that
obey the probability distributions conditioned on the style. They are attached
to training samples as conditional inputs to better learn the style module in
our novel stylized NeRF. Experimental results demonstrate that our method is
superior to existing approaches in both visual quality and long-range
consistency.
- Abstract（参考訳）: 3dシーンのスタイライゼーションは、あるスタイル例のセットに従う任意のノベルビューからシーンのスタイライゼーションイメージを生成し、異なるビューからレンダリングする際に一貫性を確保することを目的としている。
映像や映像のスタイリングを3Dシーンに直接適用しても,このような一貫性は得られない。
最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。
一致する3次元シーンのスタイライゼーションは、対応するnerfをスタイライゼーションすることで効果的に実現できる。
しかし、2dイメージであるスタイル例と暗黙のボリューム表現であるnerfとの間には、大きなドメインギャップがある。
そこで本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新たな相互学習フレームワークを提案し,NeRFの3次元一貫性と2次元画像スタイリゼーションネットワークのスタイリゼーション能力を融合させる。
まず3Dシーンの標準的なNeRFを事前にトレーニングし、カラー予測モジュールをスタイルネットワークに置き換えてスタイル化されたNeRFを得る。
また、NeRFスタイルモジュールの相互学習を監督し、2次元スタイリゼーションデコーダを微調整するために模倣損失を導入する。
モデルが2次元スタイリング結果のあいまいさを更に扱えるようにするために,我々は,このスタイルで条件付けられた確率分布に従う学習可能な潜在符号を導入する。
条件入力としてトレーニングサンプルにアタッチされ、新しいスタイル化されたNeRFのスタイルモジュールをよりよく学習します。
実験の結果,提案手法は視覚品質と長距離一貫性の両方において既存の手法よりも優れていることがわかった。
関連論文リスト
- Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。
我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。
本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
論文 参考訳（メタデータ） (2024-06-19T09:36:18Z) - PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style
Mapping [16.506819625584654]
3Dシーンスタイリング(3D scene stylization)とは、3Dシーンの外観を、所定のスタイルのイメージに合わせるように変換することである。
既存のいくつかの手法は、3Dシーンのスタイリングにおいて印象的な結果を得た。
任意のシーンに任意のスタイルを転送する新しい3Dシーンスタイリングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-13T05:08:47Z) - 3D Face Style Transfer with a Hybrid Solution of NeRF and Mesh
Rasterization [4.668492532161309]
我々は,3次元顔の表現にNeRF(Near Raddiance Field)を用い,それを2次元スタイルの移動と組み合わせて3次元顔のスタイリゼーションを提案する。
2Dスタイルの転送画像からNeRFを直接トレーニングすると、3Dの不整合が問題になり、ぼやけが生じる。
我々は、NeRFの高忠実度幾何再構成とメッシュの高速レンダリングの利点を組み合わせるために、NeRFとメッシュ化のハイブリッドフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-22T05:24:35Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳（メタデータ） (2023-11-09T15:51:27Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T07:22:05Z) - StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image
Synthesis [92.25145204543904]
StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。
ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。
高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
論文 参考訳（メタデータ） (2021-10-18T02:37:01Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳（メタデータ） (2021-05-27T23:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。