論文の概要: ARF: Artistic Radiance Fields
- arxiv url: http://arxiv.org/abs/2206.06360v1
- Date: Mon, 13 Jun 2022 17:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 15:57:50.284058
- Title: ARF: Artistic Radiance Fields
- Title(参考訳): arf:芸術的照度分野
- Authors: Kai Zhang and Nick Kolkin and Sai Bi and Fujun Luan and Zexiang Xu and
Eli Shechtman and Noah Snavely
- Abstract要約: 本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
- 参考スコア(独自算出の注目度): 63.79314417413371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method for transferring the artistic features of an arbitrary
style image to a 3D scene. Previous methods that perform 3D stylization on
point clouds or meshes are sensitive to geometric reconstruction errors for
complex real-world scenes. Instead, we propose to stylize the more robust
radiance field representation. We find that the commonly used Gram matrix-based
loss tends to produce blurry results without faithful brushstrokes, and
introduce a nearest neighbor-based loss that is highly effective at capturing
style details while maintaining multi-view consistency. We also propose a novel
deferred back-propagation method to enable optimization of memory-intensive
radiance fields using style losses defined on full-resolution rendered images.
Our extensive evaluation demonstrates that our method outperforms baselines by
generating artistic appearance that more closely resembles the style image.
Please check our project page for video results and open-source
implementations: https://www.cs.cornell.edu/projects/arf/ .
- Abstract(参考訳): 本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の方法は、複雑な現実世界のシーンの幾何学的再構成誤差に敏感である。
代わりに、よりロバストな放射場表現をスタイライズすることを提案する。
一般的に使用されるグラム行列に基づく損失は,忠実なブラシストロークを使わずに曖昧な結果をもたらす傾向があり,多視点一貫性を維持しつつ,スタイルの詳細を捉えるのに極めて効果的である近傍の損失を導入する。
また、フル解像度レンダリング画像上で定義されたスタイル損失を用いて、メモリ集約放射場を最適化する新しい遅延バックプロパゲーション手法を提案する。
本手法は, スタイル画像に類似した芸術的外観を生成することにより, ベースラインよりも優れることを示す。
ビデオ結果とオープンソース実装については、プロジェクトページを参照してください。
関連論文リスト
- Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [71.95350635033134]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - PatchShading: High-Quality Human Reconstruction by Patch Warping and
Shading Refinement [11.960871621285063]
多視点画像から高品質な人体メッシュを再構築するためのemphPatchShadingという新しい手法を提案する。
配向点雲の形状表現とSHシェーディングを利用して,提案手法は最適化とレンダリング時間を著しく短縮する。
論文 参考訳(メタデータ) (2022-11-26T05:16:39Z) - PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene
Reconstruction from Blurry Images [75.87721926918874]
PDRF(Progressive Deblurring Radiance Field)について報告する。
PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。
PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
論文 参考訳(メタデータ) (2022-08-17T03:42:29Z) - ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。
重要な革新の1つは、根底にある体積表現が完全に明示的であることである。
我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
論文 参考訳(メタデータ) (2022-02-28T19:37:12Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳(メタデータ) (2021-12-11T11:36:30Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2021-05-27T09:11:30Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。