論文の概要: Stylizing Sparse-View 3D Scenes with Hierarchical Neural Representation

• arxiv url: http://arxiv.org/abs/2404.05236v1
• Date: Mon, 8 Apr 2024 07:01:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 15:13:56.775495
• Title: Stylizing Sparse-View 3D Scenes with Hierarchical Neural Representation
• Title（参考訳）: 階層型ニューラル表現を用いたスパースビュー3次元シーンのスタイリング
• Authors: Y. Wang, A. Gao, Y. Gong, Y. Zeng,
• Abstract要約: 事前訓練されたニューラル放射場(NeRF)のシーン再構成力を利用する3Dスタイルのトランスファー手法の急増が提案されている。 本稿では,コンテンツセマンティクスとスタイルテクスチャの分離の観点から,スパースビューシーンのスタイリングについて考察する。 新しい階層的エンコーディングに基づくニューラル表現は、暗黙のシーン表現から直接高品質なスタイリングされたシーンを生成するように設計されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a surge of 3D style transfer methods has been proposed that leverage the scene reconstruction power of a pre-trained neural radiance field (NeRF). To successfully stylize a scene this way, one must first reconstruct a photo-realistic radiance field from collected images of the scene. However, when only sparse input views are available, pre-trained few-shot NeRFs often suffer from high-frequency artifacts, which are generated as a by-product of high-frequency details for improving reconstruction quality. Is it possible to generate more faithful stylized scenes from sparse inputs by directly optimizing encoding-based scene representation with target style? In this paper, we consider the stylization of sparse-view scenes in terms of disentangling content semantics and style textures. We propose a coarse-to-fine sparse-view scene stylization framework, where a novel hierarchical encoding-based neural representation is designed to generate high-quality stylized scenes directly from implicit scene representations. We also propose a new optimization strategy with content strength annealing to achieve realistic stylization and better content preservation. Extensive experiments demonstrate that our method can achieve high-quality stylization of sparse-view scenes and outperforms fine-tuning-based baselines in terms of stylization quality and efficiency.
• Abstract（参考訳）: 近年,前訓練されたニューラル放射場(NeRF)のシーン再構成力を利用する3Dスタイルのトランスファー手法の急増が提案されている。 このようにしてシーンのスタイリングを成功させるためには、まずシーンの収集された画像から写真リアルなラディアンスフィールドを再構築する必要がある。 しかし、スパース・インプット・ビューのみが利用可能である場合、プレトレーニングされた数発のNeRFは、しばしば高周波のアーティファクトに悩まされる。 エンコーディングに基づくシーン表現をターゲットスタイルで直接最適化することで、スパース入力からより忠実なスタイリングシーンを生成することができるか? 本稿では,コンテンツセマンティクスとスタイルテクスチャの分離の観点から,スパースビューシーンのスタイリングについて考察する。 暗黙的なシーン表現から直接高品質なスタイリングシーンを生成するために,新しい階層的エンコーディングに基づくニューラル表現を設計した粗大なスパークビューシーンスタイリングフレームワークを提案する。 また,リアルなスタイリゼーションを実現し,より優れたコンテンツ保存を実現するために,コンテンツ強度アニールを用いた新しい最適化手法を提案する。 広汎な実験により,スパース・ビュー・シーンの高品質なスタイリゼーションを実現し,スタイリゼーションの質と効率の点で微調整ベースラインに優れることを示した。

関連論文リスト

• SCube: Instant Large-Scale Scene Reconstruction using VoxSplats [55.383993296042526]
  SCubeは画像の粗い集合から大規模3次元シーン(幾何学、外観、意味論)を再構成する新しい手法である。 提案手法は,高解像度のスパース・ボクセル・足場上に支持された3次元ガウスの組である,新しい表現VoxSplatを用いて再構成シーンを符号化する。
  論文  参考訳（メタデータ） (2024-10-26T00:52:46Z)
• RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting [63.567363455092234]
  RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:50:02Z)
• StyleCity: Large-Scale 3D Urban Scenes Stylization [16.017767577678253]
  StyleCityは、大規模都市シーンのための視覚とテキストによるテクスチャスタイリングシステムである。 StyleCityは、大規模な都市シーンの3Dテクスチャメッシュをセマンティックスに意識したスタイルでスタイリングする。
  論文  参考訳（メタデータ） (2024-04-16T15:58:49Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Locally Stylized Neural Radiance Fields [30.037649804991315]
  局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。 特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。 提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-19T15:08:10Z)
• Instant Photorealistic Neural Radiance Fields Stylization [1.039189397779466]
  Instant Neural Radiance Fields Stylizationは3Dシーンのマルチビュー画像スタイリングのための新しいアプローチである。 我々のアプローチは、位置埋め込みにハッシュテーブルベースの位置エンコーダを使用するニューラルネットワークプリミティブに基づく神経放射場をモデル化する。 最新のGPUハードウェアでは10分以内で、様々な角度で一貫した外観でスタイリングされた新しいビューを生成することができる。
  論文  参考訳（メタデータ） (2023-03-29T17:53:20Z)
• ARF: Artistic Radiance Fields [63.79314417413371]
  本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。 点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。 より頑健なラディアンス場表現の体系化を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:55:31Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。