論文の概要: ARF: Artistic Radiance Fields
- arxiv url: http://arxiv.org/abs/2206.06360v1
- Date: Mon, 13 Jun 2022 17:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 15:57:50.284058
- Title: ARF: Artistic Radiance Fields
- Title(参考訳): arf:芸術的照度分野
- Authors: Kai Zhang and Nick Kolkin and Sai Bi and Fujun Luan and Zexiang Xu and
Eli Shechtman and Noah Snavely
- Abstract要約: 本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
- 参考スコア(独自算出の注目度): 63.79314417413371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method for transferring the artistic features of an arbitrary
style image to a 3D scene. Previous methods that perform 3D stylization on
point clouds or meshes are sensitive to geometric reconstruction errors for
complex real-world scenes. Instead, we propose to stylize the more robust
radiance field representation. We find that the commonly used Gram matrix-based
loss tends to produce blurry results without faithful brushstrokes, and
introduce a nearest neighbor-based loss that is highly effective at capturing
style details while maintaining multi-view consistency. We also propose a novel
deferred back-propagation method to enable optimization of memory-intensive
radiance fields using style losses defined on full-resolution rendered images.
Our extensive evaluation demonstrates that our method outperforms baselines by
generating artistic appearance that more closely resembles the style image.
Please check our project page for video results and open-source
implementations: https://www.cs.cornell.edu/projects/arf/ .
- Abstract(参考訳): 本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の方法は、複雑な現実世界のシーンの幾何学的再構成誤差に敏感である。
代わりに、よりロバストな放射場表現をスタイライズすることを提案する。
一般的に使用されるグラム行列に基づく損失は,忠実なブラシストロークを使わずに曖昧な結果をもたらす傾向があり,多視点一貫性を維持しつつ,スタイルの詳細を捉えるのに極めて効果的である近傍の損失を導入する。
また、フル解像度レンダリング画像上で定義されたスタイル損失を用いて、メモリ集約放射場を最適化する新しい遅延バックプロパゲーション手法を提案する。
本手法は, スタイル画像に類似した芸術的外観を生成することにより, ベースラインよりも優れることを示す。
ビデオ結果とオープンソース実装については、プロジェクトページを参照してください。
関連論文リスト
- G-Style: Stylized Gaussian Splatting [5.363168481735954]
本稿では,G-Styleを提案する。G-Style,G-Style,G-Style,G-Style,G-Style,G-Style,G-Style,G-Style,G-Style。
G-Styleは数分で高品質なスタイリゼーションを生成し、質的にも量的にも既存の手法より優れている。
論文 参考訳(メタデータ) (2024-08-28T10:43:42Z) - MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。
暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
論文 参考訳(メタデータ) (2024-07-18T17:50:03Z) - Stylizing Sparse-View 3D Scenes with Hierarchical Neural Representation [0.0]
事前訓練されたニューラル放射場(NeRF)のシーン再構成力を利用する3Dスタイルのトランスファー手法の急増が提案されている。
本稿では,コンテンツセマンティクスとスタイルテクスチャの分離の観点から,スパースビューシーンのスタイリングについて考察する。
新しい階層的エンコーディングに基づくニューラル表現は、暗黙のシーン表現から直接高品質なスタイリングされたシーンを生成するように設計されている。
論文 参考訳(メタデータ) (2024-04-08T07:01:42Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。
重要な革新の1つは、根底にある体積表現が完全に明示的であることである。
我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
論文 参考訳(メタデータ) (2022-02-28T19:37:12Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳(メタデータ) (2021-12-11T11:36:30Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2021-05-27T09:11:30Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。