論文の概要: ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation
Fields
- arxiv url: http://arxiv.org/abs/2402.01950v2
- Date: Wed, 6 Mar 2024 20:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:08:24.992543
- Title: ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation
Fields
- Title(参考訳): conrf:条件付放射場を有する3次元シーンのゼロショットスタイライゼーション
- Authors: Xingyu Miao, Yang Bai, Haoran Duan, Fan Wan, Yawen Huang, Yang Long,
Yefeng Zheng
- Abstract要約: ゼロショットスタイリングの新しい手法であるConRFを紹介する。
我々は、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングする変換プロセスを採用する。
また,局所的なスタイル転送を行うために3次元ボリューム表現を用いる。
- 参考スコア(独自算出の注目度): 26.833265073162696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most of the existing works on arbitrary 3D NeRF style transfer required
retraining on each single style condition. This work aims to achieve zero-shot
controlled stylization in 3D scenes utilizing text or visual input as
conditioning factors. We introduce ConRF, a novel method of zero-shot
stylization. Specifically, due to the ambiguity of CLIP features, we employ a
conversion process that maps the CLIP feature space to the style space of a
pre-trained VGG network and then refine the CLIP multi-modal knowledge into a
style transfer neural radiation field. Additionally, we use a 3D volumetric
representation to perform local style transfer. By combining these operations,
ConRF offers the capability to utilize either text or images as references,
resulting in the generation of sequences with novel views enhanced by global or
local stylization. Our experiment demonstrates that ConRF outperforms other
existing methods for 3D scene and single-text stylization in terms of visual
quality.
- Abstract(参考訳): 既存の作業の多くは、任意の3D NeRFスタイルの転送において、1つのスタイルの条件で再訓練する必要がある。
本研究の目的は、テキストや視覚入力を条件付け要素として利用する3次元シーンにおけるゼロショット制御型スタイリングの実現である。
ゼロショットスタイリングの新しい手法であるConRFを紹介する。
具体的には、CLIP特徴量のあいまいさから、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングし、CLIP多モード知識を伝達神経放射場に洗練する変換プロセスを用いる。
さらに,3次元ボリューム表現を用いて局所的なスタイル転送を行う。
これらの操作を組み合わせることで、ConRFはテキストまたはイメージを参照として利用する機能を提供し、グローバルまたはローカルなスタイリングによって強化された新しいビューを持つシーケンスを生成する。
実験の結果,ConRFは視覚的品質の観点から,他の3Dシーンや単一テキストスタイリング手法よりも優れていた。
関連論文リスト
- Gaussian Splatting in Style [35.376015119962354]
テスト時に高品質なスタイリングされた新しいビューを生成できる,スタイルイメージのコレクションをトレーニングした新しいアーキテクチャを提案する。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2024-03-13T13:06:31Z) - S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes [60.96566297340525]
現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。
本稿では,動的ニューラルネットワークのための参照型時間スタイリング手法であるS-DyRFを提案する。
合成と実世界の両方のデータセットを用いた実験により,本手法が有意なスタイリング結果をもたらすことが示された。
論文 参考訳(メタデータ) (2024-03-10T13:04:01Z) - Locally Stylized Neural Radiance Fields [30.037649804991315]
局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。
特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。
提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
論文 参考訳(メタデータ) (2023-09-19T15:08:10Z) - CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer [41.388313754081544]
言語誘導型任意型ニューラルスタイル転送法(CLIP3Dstyler)を提案する。
従来の2D手法であるCLIPStylerと比較して、3Dシーンをスタイリングし、モデルを再訓練することなく新しいシーンに一般化することができる。
我々は,テキスト誘導型3次元シーン転送におけるモデルの有効性を示すため,広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-05-25T05:30:13Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳(メタデータ) (2023-03-19T08:26:06Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:55:31Z) - StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D
Mutual Learning [50.65015652968839]
3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。
最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。
本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-24T16:29:50Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳(メタデータ) (2021-05-27T23:58:18Z) - 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。
提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。
選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
論文 参考訳(メタデータ) (2020-11-26T16:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。