論文の概要: Ref-NPR: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization

• arxiv url: http://arxiv.org/abs/2212.02766v2
• Date: Sun, 26 Mar 2023 14:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 01:21:50.316536
• Title: Ref-NPR: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization
• Title（参考訳）: ref-npr: 制御可能なシーンスタイライゼーションのための参照ベース非フォトリアリスティック放射場
• Authors: Yuechen Zhang, Zexin He, Jinbo Xing, Xufeng Yao, Jiaya Jia
• Abstract要約: Ref-NPRは、単一のスタイル化された2Dビューを参照として、放射場を用いて3Dシーンをスタイリングする制御可能な方法である。 我々は、コンテンツ画像中の意味対応を利用して、隠蔽領域を知覚的に類似したスタイルで満たし、非フォトリアリスティックで連続した新規なビューシーケンスを生み出す。
• 参考スコア（独自算出の注目度）: 43.75525466345655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current 3D scene stylization methods transfer textures and colors as styles using arbitrary style references, lacking meaningful semantic correspondences. We introduce Reference-Based Non-Photorealistic Radiance Fields (Ref-NPR) to address this limitation. This controllable method stylizes a 3D scene using radiance fields with a single stylized 2D view as a reference. We propose a ray registration process based on the stylized reference view to obtain pseudo-ray supervision in novel views. Then we exploit semantic correspondences in content images to fill occluded regions with perceptually similar styles, resulting in non-photorealistic and continuous novel view sequences. Our experimental results demonstrate that Ref-NPR outperforms existing scene and video stylization methods regarding visual quality and semantic correspondence. The code and data are publicly available on the project page at https://ref-npr.github.io.
• Abstract（参考訳）: 現在の3dシーンスタイライゼーション手法は、テクスチャや色を任意のスタイル参照を使用してスタイルとして転送し、意味のある意味的対応を欠いている。 本稿では、この制限に対処するため、参照ベース非フォトリアリスティックレーダランス場(Ref-NPR)を紹介する。 単一のスタイル化された2Dビューを基準として、放射場を用いて3Dシーンをスタイリングする。 本稿では,新しい視点で擬似x線監督を得るために,スタイライズド参照ビューに基づく光線登録プロセスを提案する。 次に,コンテンツ画像における意味的対応を利用して,知覚的に類似したスタイルでオクルードされた領域を満たし,非フォトリアリスティックかつ連続的な斬新なビューシークエンスを生成する。 実験の結果,Ref-NPRは視覚的品質や意味的対応に関して,既存のシーンや映像のスタイリング手法よりも優れていた。 コードとデータはプロジェクトのページ https://ref-npr.github.io で公開されている。

関連論文リスト

• ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences [33.06053818091165]
  ReStyle3Dは、シーンレベルの外観を1つのスタイルのイメージから、複数のビューで表現された現実世界のシーンに転送するためのフレームワークである。 明示的な意味対応と多視点整合性を組み合わせることで、正確で一貫性のあるスタイリングを実現する。 私たちのコード、事前訓練されたモデル、データセットは、インテリアデザイン、仮想ステージング、そして3D一貫性のあるスタイリングにおける新しいアプリケーションをサポートするために、公開されます。
  論文  参考訳（メタデータ） (2025-02-14T18:54:21Z)
• Reference-based Controllable Scene Stylization with Gaussian Splatting [30.321151430263946]
  コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。 参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
  論文  参考訳（メタデータ） (2024-07-09T20:30:29Z)
• S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes [58.05447927353328]
  現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。 本稿では,動的ニューラルネットワークのための参照型時間スタイリング手法であるS-DyRFを提案する。 合成と実世界の両方のデータセットを用いた実験により,本手法が有意なスタイリング結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-03-10T13:04:01Z)
• Locally Stylized Neural Radiance Fields [30.037649804991315]
  局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。 特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。 提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-19T15:08:10Z)
• Instant Photorealistic Neural Radiance Fields Stylization [1.039189397779466]
  Instant Neural Radiance Fields Stylizationは3Dシーンのマルチビュー画像スタイリングのための新しいアプローチである。 我々のアプローチは、位置埋め込みにハッシュテーブルベースの位置エンコーダを使用するニューラルネットワークプリミティブに基づく神経放射場をモデル化する。 最新のGPUハードウェアでは10分以内で、様々な角度で一貫した外観でスタイリングされた新しいビューを生成することができる。
  論文  参考訳（メタデータ） (2023-03-29T17:53:20Z)
• ARF: Artistic Radiance Fields [63.79314417413371]
  本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。 点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。 より頑健なラディアンス場表現の体系化を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:55:31Z)
• Unified Implicit Neural Stylization [80.59831861186227]
  この研究は、スタイル化された暗黙の表現のトレーニングという、新しい興味深い方向性を探求する。 本研究では,2次元座標に基づく表現,ニューラルラディアンス場,符号付き距離関数など,様々な暗黙関数に関するパイロット研究を行う。 我々のソリューションは、INSと呼ばれる統一暗黙的ニューラルスティル化フレームワークです。
  論文  参考訳（メタデータ） (2022-04-05T02:37:39Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。