論文の概要: UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene

• arxiv url: http://arxiv.org/abs/2208.07059v1
• Date: Mon, 15 Aug 2022 08:17:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 14:03:09.965253
• Title: UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene
• Title（参考訳）: upst-nerf:3dシーンのための神経放射場の普遍的フォトリアリスティックスタイル転送
• Authors: Yaosen Chen and Qi Yuan and Zhiqiang Li and Yuegen Liu Wei Wang Chaoping Xie and Xuming Wen and Qien Yu
• Abstract要約: 3Dシーンのフォトリアリスティックなスタイリゼーションは、与えられたスタイルの画像に従って任意の新しいビューからフォトリアリスティックな画像を生成することを目的としている。 ニューラルラディアンスフィールドを持つ既存のスタイリング手法は、スタイリングされたシーンを効果的に予測することができる。 本稿では,これらの問題に対処する新しい3Dシーン光写実的スタイル転送フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.1033122829097484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D scenes photorealistic stylization aims to generate photorealistic images from arbitrary novel views according to a given style image while ensuring consistency when rendering from different viewpoints. Some existing stylization methods with neural radiance fields can effectively predict stylized scenes by combining the features of the style image with multi-view images to train 3D scenes. However, these methods generate novel view images that contain objectionable artifacts. Besides, they cannot achieve universal photorealistic stylization for a 3D scene. Therefore, a styling image must retrain a 3D scene representation network based on a neural radiation field. We propose a novel 3D scene photorealistic style transfer framework to address these issues. It can realize photorealistic 3D scene style transfer with a 2D style image. We first pre-trained a 2D photorealistic style transfer network, which can meet the photorealistic style transfer between any given content image and style image. Then, we use voxel features to optimize a 3D scene and get the geometric representation of the scene. Finally, we jointly optimize a hyper network to realize the scene photorealistic style transfer of arbitrary style images. In the transfer stage, we use a pre-trained 2D photorealistic network to constrain the photorealistic style of different views and different style images in the 3D scene. The experimental results show that our method not only realizes the 3D photorealistic style transfer of arbitrary style images but also outperforms the existing methods in terms of visual quality and consistency. Project page:https://semchan.github.io/UPST_NeRF.
• Abstract（参考訳）: 3dシーン フォトリアリスティックスタイライゼーションは、任意のノベルビューから任意のスタイルイメージに従ってフォトリアリスティックな画像を生成し、異なる視点からレンダリングする際に一貫性を確保することを目的としている。 ニューラルレイディアンスフィールドを用いた既存のスタイリゼーション手法では、スタイル画像の特徴とマルチビュー画像を組み合わせることで、スタイリズされたシーンを効果的に予測できる。 しかし,これらの手法は異物を含む新しいビュー画像を生成する。 また、3Dシーンの普遍的なフォトリアリスティックなスタイリングも達成できない。 したがって、スタイリング画像は、神経放射場に基づく3次元シーン表現ネットワークを再訓練する必要がある。 これらの問題に対処するために,新しい3次元シーンフォトリアリスティックスタイル転送フレームワークを提案する。 2Dスタイルの画像を用いて、フォトリアリスティックな3Dシーンスタイルの転送を実現する。 まず,任意のコンテンツ画像とスタイル画像間のフォトリアリスティックスタイル転送を満足できる2次元フォトリアリスティックスタイル転送ネットワークを事前学習した。 次に,3次元シーンを最適化し,そのシーンの幾何学的表現を得るためにボクセル機能を利用する。 最後に,ハイパーネットワークを協調して最適化し,任意のスタイル画像のシーンのフォトリアリスティックなスタイル転送を実現する。 転送段階では,事前学習した2Dフォトリアリスティックネットワークを用いて,3Dシーンにおける異なるビューと異なるスタイルの画像のフォトリアリスティックなスタイルを制約する。 実験結果から,本手法は任意のスタイル画像の3次元フォトリアリスティックなスタイル転送を実現するだけでなく,視覚的品質と一貫性の点で既存手法よりも優れることがわかった。 プロジェクトページ:https://semchan.github.io/UPST_NeRF。

関連論文リスト

• PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping [16.506819625584654]
  3Dシーンスタイリング(3D scene stylization)とは、3Dシーンの外観を、所定のスタイルのイメージに合わせるように変換することである。 既存のいくつかの手法は、3Dシーンのスタイリングにおいて印象的な結果を得た。 任意のシーンに任意のスタイルを転送する新しい3Dシーンスタイリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-13T05:08:47Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• Transforming Radiance Field with Lipschitz Network for Photorealistic 3D Scene Stylization [56.94435595045005]
  LipRF は、Lipschitz マッピングを用いて、事前訓練された NeRF の外観表現を変換するためのフレームワークである。 光リアルな3Dスタイリゼーションとオブジェクトの外観編集の両方において、LipRFの高品質で堅牢な性能を示すため、広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-23T13:05:57Z)
• NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer [5.442253227842167]
  ビデオスタイルの転送は、時間的一貫性を維持しつつ、スタイルイメージに類似したフォトリアリスティックなスタイルで生成することが望まれる。 既存の方法はフレーム単位のフォトリアリスティックなスタイル転送を行うことで、非効率で、タイマライズされたビデオの時間的一貫性が保証されない、スタイリングされたビデオシーケンスを得る。 まず、大規模なデータセット上でスタイリングされた3D LUTを生成するニューラルネットワークをトレーニングし、次に、特定のビデオに対してフォトリアリスティックなスタイル転送を行う際に、ビデオ内のビデオとスタイルイメージをデータソースとして選択し、ニューラルネットワークを微調整する。 最後に、ファインによって生成される3D LUTを問い合わせる。
  論文  参考訳（メタデータ） (2023-03-16T09:27:40Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition [39.312567993736025]
  本稿では,テキストのプロンプトに従って,与えられた3次元形状の外観スタイルをフォトリアリスティックな方法で転送するタンゴを提案する。 TANGOは,低品質メッシュのスタイリングにおいて,フォトリアリスティックな品質,3次元幾何の整合性,ロバスト性の観点から,既存のテキスト駆動型3Dスタイル転送法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T13:52:18Z)
• StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning [50.65015652968839]
  3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。 最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。 本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:29:50Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。