論文の概要: NeRF-Art: Text-Driven Neural Radiance Fields Stylization

• arxiv url: http://arxiv.org/abs/2212.08070v1
• Date: Thu, 15 Dec 2022 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 17:44:43.740288
• Title: NeRF-Art: Text-Driven Neural Radiance Fields Stylization
• Title（参考訳）: nerf-art: テキスト駆動ニューラルラミアンスフィールドのスタイライゼーション
• Authors: Can Wang and Ruixiang Jiang and Menglei Chai and Mingming He and Dongdong Chen and Jing Liao
• Abstract要約: 簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。 本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 38.3724634394761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a powerful representation of 3D scenes, the neural radiance field (NeRF) enables high-quality novel view synthesis from multi-view images. Stylizing NeRF, however, remains challenging, especially on simulating a text-guided style with both the appearance and the geometry altered simultaneously. In this paper, we present NeRF-Art, a text-guided NeRF stylization approach that manipulates the style of a pre-trained NeRF model with a simple text prompt. Unlike previous approaches that either lack sufficient geometry deformations and texture details or require meshes to guide the stylization, our method can shift a 3D scene to the target style characterized by desired geometry and appearance variations without any mesh guidance. This is achieved by introducing a novel global-local contrastive learning strategy, combined with the directional constraint to simultaneously control both the trajectory and the strength of the target style. Moreover, we adopt a weight regularization method to effectively suppress cloudy artifacts and geometry noises which arise easily when the density field is transformed during geometry stylization. Through extensive experiments on various styles, we demonstrate that our method is effective and robust regarding both single-view stylization quality and cross-view consistency. The code and more results can be found in our project page: https://cassiepython.github.io/nerfart/.
• Abstract（参考訳）: 3dシーンの強力な表現として、neural radiance field(nerf)はマルチビュー画像からの高品質な新規ビュー合成を可能にする。 しかし、NeRFのスタイリングは、特に外観と幾何学の両方が同時に変化するテキスト誘導スタイルをシミュレートする上で、依然として困難である。 本稿では,簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法NeRF-Artを提案する。 テクスチャの十分な変形やテクスチャの細部を欠いた従来の手法と異なり,メッシュガイドを使わずに3Dシーンを所望の形状や外観の変化を特徴とするターゲットスタイルに切り替えることが可能である。 これは、目的のスタイルの軌跡と強みを同時に制御するための方向性制約と組み合わせた、新しいグローバルなコントラスト学習戦略を導入することで達成される。 さらに,形状スタイライゼーション中に密度場が変換された際に発生する雲状アーティファクトや幾何ノイズを効果的に抑制するために,重み正規化法を適用した。 様々なスタイルに関する広範な実験を通じて,本手法は単一視点のスタイリング品質と相互視点の整合性の両方に関して有効かつ堅牢であることを示す。 コードやその他の結果は、プロジェクトのページ(https://cassiepython.github.io/nerfart/)で確認できます。

関連論文リスト

• G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles [45.92812062685523]
  既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-24T08:04:19Z)
• ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis [11.463969116010183]
  ArtNeRFは、3D対応のGANから派生した新しい顔スタイリングフレームワークである。 スタイル整合性を改善するために,スタイリングされた顔と三分岐判別器モジュールを合成する表現的ジェネレータを提案する。 実験により、ArtNeRFは任意のスタイルで高品質な3D対応マンガの顔を生成するのに多用途であることが示された。
  論文  参考訳（メタデータ） (2024-04-21T16:45:35Z)
• Locally Stylized Neural Radiance Fields [30.037649804991315]
  局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。 特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。 提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-19T15:08:10Z)
• DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
  3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。 階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
  論文  参考訳（メタデータ） (2023-09-08T16:17:45Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition [39.312567993736025]
  本稿では,テキストのプロンプトに従って,与えられた3次元形状の外観スタイルをフォトリアリスティックな方法で転送するタンゴを提案する。 TANGOは,低品質メッシュのスタイリングにおいて,フォトリアリスティックな品質,3次元幾何の整合性,ロバスト性の観点から,既存のテキスト駆動型3Dスタイル転送法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T13:52:18Z)
• Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
  最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。 本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
  論文  参考訳（メタデータ） (2022-07-24T07:41:31Z)
• StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning [50.65015652968839]
  3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。 最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。 本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:29:50Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。