論文の概要: ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields

• arxiv url: http://arxiv.org/abs/2402.01950v1
• Date: Fri, 2 Feb 2024 23:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 23:14:23.345331
• Title: ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields
• Title（参考訳）: conrf:条件付放射場を有する3次元シーンのゼロショットスタイライゼーション
• Authors: Xingyu Miao, Yang Bai, Haoran Duan, Fan Wan, Yawen Huang, Yang Long, Yefeng Zheng
• Abstract要約: ゼロショットスタイリングの新しい手法であるConRFを紹介する。 我々は、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングする変換プロセスを採用する。 また,局所的なスタイル転送を行うために3次元ボリューム表現を用いる。
• 参考スコア（独自算出の注目度）: 26.833265073162696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of the existing works on arbitrary 3D NeRF style transfer required retraining on each single style condition. This work aims to achieve zero-shot controlled stylization in 3D scenes utilizing text or visual input as conditioning factors. We introduce ConRF, a novel method of zero-shot stylization. Specifically, due to the ambiguity of CLIP features, we employ a conversion process that maps the CLIP feature space to the style space of a pre-trained VGG network and then refine the CLIP multi-modal knowledge into a style transfer neural radiation field. Additionally, we use a 3D volumetric representation to perform local style transfer. By combining these operations, ConRF offers the capability to utilize either text or images as references, resulting in the generation of sequences with novel views enhanced by global or local stylization. Our experiment demonstrates that ConRF outperforms other existing methods for 3D scene and single-text stylization in terms of visual quality.
• Abstract（参考訳）: 既存の作業の多くは、任意の3D NeRFスタイルの転送において、1つのスタイルの条件で再訓練する必要がある。 本研究の目的は、テキストや視覚入力を条件付け要素として利用する3次元シーンにおけるゼロショット制御型スタイリングの実現である。 ゼロショットスタイリングの新しい手法であるConRFを紹介する。 具体的には、CLIP特徴量のあいまいさから、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングし、CLIP多モード知識を伝達神経放射場に洗練する変換プロセスを用いる。 さらに,3次元ボリューム表現を用いて局所的なスタイル転送を行う。 これらの操作を組み合わせることで、ConRFはテキストまたはイメージを参照として利用する機能を提供し、グローバルまたはローカルなスタイリングによって強化された新しいビューを持つシーケンスを生成する。 実験の結果,ConRFは視覚的品質の観点から,他の3Dシーンや単一テキストスタイリング手法よりも優れていた。

関連論文リスト

• G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles [45.92812062685523]
  既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-24T08:04:19Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields [7.651502365257349]
  本稿では,制御可能な3Dシーンスタイリングのための新しいアルゴリズムであるCoARFを紹介する。 CoARFは、ユーザが指定したスタイル転送の制御性と、より正確な特徴マッチングを備えた優れたスタイル転送品質を提供する。
  論文  参考訳（メタデータ） (2024-04-23T12:22:32Z)
• StylizedGS: Controllable Stylization for 3D Gaussian Splatting [53.0225128090909]
  StylizedGSは知覚因子を適応的に制御する効率的な3Dニューラルスタイル転送フレームワークである。 本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
  論文  参考訳（メタデータ） (2024-04-08T06:32:11Z)
• S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes [58.05447927353328]
  現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。 本稿では,動的ニューラルネットワークのための参照型時間スタイリング手法であるS-DyRFを提案する。 合成と実世界の両方のデータセットを用いた実験により,本手法が有意なスタイリング結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-03-10T13:04:01Z)
• Locally Stylized Neural Radiance Fields [30.037649804991315]
  局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。 特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。 提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-19T15:08:10Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning [50.65015652968839]
  3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。 最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。 本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:29:50Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。