論文の概要: ARF: Artistic Radiance Fields
- arxiv url: http://arxiv.org/abs/2206.06360v1
- Date: Mon, 13 Jun 2022 17:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 15:57:50.284058
- Title: ARF: Artistic Radiance Fields
- Title(参考訳): arf:芸術的照度分野
- Authors: Kai Zhang and Nick Kolkin and Sai Bi and Fujun Luan and Zexiang Xu and
Eli Shechtman and Noah Snavely
- Abstract要約: 本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
- 参考スコア(独自算出の注目度): 63.79314417413371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method for transferring the artistic features of an arbitrary
style image to a 3D scene. Previous methods that perform 3D stylization on
point clouds or meshes are sensitive to geometric reconstruction errors for
complex real-world scenes. Instead, we propose to stylize the more robust
radiance field representation. We find that the commonly used Gram matrix-based
loss tends to produce blurry results without faithful brushstrokes, and
introduce a nearest neighbor-based loss that is highly effective at capturing
style details while maintaining multi-view consistency. We also propose a novel
deferred back-propagation method to enable optimization of memory-intensive
radiance fields using style losses defined on full-resolution rendered images.
Our extensive evaluation demonstrates that our method outperforms baselines by
generating artistic appearance that more closely resembles the style image.
Please check our project page for video results and open-source
implementations: https://www.cs.cornell.edu/projects/arf/ .
- Abstract(参考訳): 本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の方法は、複雑な現実世界のシーンの幾何学的再構成誤差に敏感である。
代わりに、よりロバストな放射場表現をスタイライズすることを提案する。
一般的に使用されるグラム行列に基づく損失は,忠実なブラシストロークを使わずに曖昧な結果をもたらす傾向があり,多視点一貫性を維持しつつ,スタイルの詳細を捉えるのに極めて効果的である近傍の損失を導入する。
また、フル解像度レンダリング画像上で定義されたスタイル損失を用いて、メモリ集約放射場を最適化する新しい遅延バックプロパゲーション手法を提案する。
本手法は, スタイル画像に類似した芸術的外観を生成することにより, ベースラインよりも優れることを示す。
ビデオ結果とオープンソース実装については、プロジェクトページを参照してください。
関連論文リスト
- Gaussian Splatting in Style [35.376015119962354]
テスト時に高品質なスタイリングされた新しいビューを生成できる,スタイルイメージのコレクションをトレーニングした新しいアーキテクチャを提案する。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2024-03-13T13:06:31Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。
我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
論文 参考訳(メタデータ) (2023-09-03T19:32:49Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。
重要な革新の1つは、根底にある体積表現が完全に明示的であることである。
我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
論文 参考訳(メタデータ) (2022-02-28T19:37:12Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳(メタデータ) (2021-12-11T11:36:30Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2021-05-27T09:11:30Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。