論文の概要: StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2303.10598v2
• Date: Wed, 22 Mar 2023 05:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 11:11:16.032836
• Title: StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields
• Title（参考訳）: スタイルRF:Zero-shot 3Dスタイルの神経放射場移動
• Authors: Kunhao Liu, Fangneng Zhan, Yiwen Chen, Jiahui Zhang, Yingchen Yu, Abdulmotaleb El Saddik, Shijian Lu, Eric Xing
• Abstract要約: StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
• 参考スコア（独自算出の注目度）: 52.19291190355375
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: 3D style transfer aims to render stylized novel views of a 3D scene with multi-view consistency. However, most existing work suffers from a three-way dilemma over accurate geometry reconstruction, high-quality stylization, and being generalizable to arbitrary new styles. We propose StyleRF (Style Radiance Fields), an innovative 3D style transfer technique that resolves the three-way dilemma by performing style transformation within the feature space of a radiance field. StyleRF employs an explicit grid of high-level features to represent 3D scenes, with which high-fidelity geometry can be reliably restored via volume rendering. In addition, it transforms the grid features according to the reference style which directly leads to high-quality zero-shot style transfer. StyleRF consists of two innovative designs. The first is sampling-invariant content transformation that makes the transformation invariant to the holistic statistics of the sampled 3D points and accordingly ensures multi-view consistency. The second is deferred style transformation of 2D feature maps which is equivalent to the transformation of 3D points but greatly reduces memory footprint without degrading multi-view consistency. Extensive experiments show that StyleRF achieves superior 3D stylization quality with precise geometry reconstruction and it can generalize to various new styles in a zero-shot manner.
• Abstract（参考訳）: 3dスタイル転送は、3dシーンのスタイル化されたノベルビューをマルチビュー一貫性で描画することを目的としている。 しかし、既存の作品の多くは正確な幾何学的再構成、高品質なスタイライゼーション、任意の新しいスタイルに一般化された3方向のジレンマに苦しめられている。 放射場の特徴空間内でスタイル変換を行うことで3方向ジレンマを解消する3次元スタイル転送技術であるStyleRF(Style Radiance Fields)を提案する。 StyleRFは3Dシーンを表現するために高精細な特徴の明示的なグリッドを採用しており、ボリュームレンダリングによって高精細な形状を確実に復元することができる。 さらに、グリッド機能は参照スタイルに従って変換され、高品質なゼロショットスタイル転送に直接繋がる。 StyleRFは2つの革新的な設計で構成されている。 1つ目はサンプリング不変なコンテンツ変換であり、この変換はサンプル化された3D点の全体統計に不変であり、したがってマルチビュー整合性を保証する。 2つ目は、3Dポイントの変換と同等の2D特徴写像の遅延型変換であるが、マルチビューの一貫性を損なうことなくメモリフットプリントを大幅に削減する。 広範な実験により、stylerfは正確な形状再構成により優れた3dスタイライゼーション品質を達成し、ゼロショット方式で様々な新しいスタイルに一般化できることを示した。

関連論文リスト

• G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles [45.92812062685523]
  既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-24T08:04:19Z)
• StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
  StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
  論文  参考訳（メタデータ） (2024-03-12T16:44:52Z)
• ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields [26.833265073162696]
  ゼロショットスタイリングの新しい手法であるConRFを紹介する。 我々は、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングする変換プロセスを採用する。 また,局所的なスタイル転送を行うために3次元ボリューム表現を用いる。
  論文  参考訳（メタデータ） (2024-02-02T23:12:16Z)
• DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
  3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。 階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
  論文  参考訳（メタデータ） (2023-09-08T16:17:45Z)
• NeRF-Art: Text-Driven Neural Radiance Fields Stylization [38.3724634394761]
  簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。 本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:59:58Z)
• StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis [92.25145204543904]
  StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
  論文  参考訳（メタデータ） (2021-10-18T02:37:01Z)
• 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations [81.45521258652734]
  本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。 提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:28:31Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。