論文の概要: 3D Face Style Transfer with a Hybrid Solution of NeRF and Mesh Rasterization

• arxiv url: http://arxiv.org/abs/2311.13168v1
• Date: Wed, 22 Nov 2023 05:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 16:08:14.074638
• Title: 3D Face Style Transfer with a Hybrid Solution of NeRF and Mesh Rasterization
• Title（参考訳）: NeRFとメッシュラスタライゼーションのハイブリッド溶液による3次元顔形状変換
• Authors: Jianwei Feng and Prateek Singhal
• Abstract要約: 我々は,3次元顔の表現にNeRF(Near Raddiance Field)を用い,それを2次元スタイルの移動と組み合わせて3次元顔のスタイリゼーションを提案する。 2Dスタイルの転送画像からNeRFを直接トレーニングすると、3Dの不整合が問題になり、ぼやけが生じる。 我々は、NeRFの高忠実度幾何再構成とメッシュの高速レンダリングの利点を組み合わせるために、NeRFとメッシュ化のハイブリッドフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.668492532161309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Style transfer for human face has been widely researched in recent years. Majority of the existing approaches work in 2D image domain and have 3D inconsistency issue when applied on different viewpoints of the same face. In this paper, we tackle the problem of 3D face style transfer which aims at generating stylized novel views of a 3D human face with multi-view consistency. We propose to use a neural radiance field (NeRF) to represent 3D human face and combine it with 2D style transfer to stylize the 3D face. We find that directly training a NeRF on stylized images from 2D style transfer brings in 3D inconsistency issue and causes blurriness. On the other hand, training a NeRF jointly with 2D style transfer objectives shows poor convergence due to the identity and head pose gap between style image and content image. It also poses challenge in training time and memory due to the need of volume rendering for full image to apply style transfer loss functions. We therefore propose a hybrid framework of NeRF and mesh rasterization to combine the benefits of high fidelity geometry reconstruction of NeRF and fast rendering speed of mesh. Our framework consists of three stages: 1. Training a NeRF model on input face images to learn the 3D geometry; 2. Extracting a mesh from the trained NeRF model and optimizing it with style transfer objectives via differentiable rasterization; 3. Training a new color network in NeRF conditioned on a style embedding to enable arbitrary style transfer to the 3D face. Experiment results show that our approach generates high quality face style transfer with great 3D consistency, while also enabling a flexible style control.
• Abstract（参考訳）: 近年,人間の顔のスタイル伝達が広く研究されている。 既存のアプローチの大部分は2次元画像領域で動作し、同じ顔の異なる視点に適用した場合に3次元の矛盾が生じる。 本稿では,複数視点の一貫性を持つ3次元顔のスタイライズされた斬新なビュー生成を目的とした3次元顔の転送問題に取り組む。 我々は,3次元顔の表現にNeRF(Near Raddiance Field)を用い,それを2次元スタイルの移動と組み合わせて3次元顔のスタイリングを提案する。 2Dスタイルの転送画像からNeRFを直接訓練すると、3Dの不整合が問題になり、ぼやけが生じる。 一方、2dスタイル転送目標と共同でnerfを訓練することは、スタイル画像とコンテンツ画像の同一性と頭部ポーズギャップによる収束不良を示す。 また、スタイル転送損失関数を適用するためにフルイメージのボリュームレンダリングが必要となるため、トレーニング時間とメモリにおいて課題となる。 そこで我々は,nerfの高忠実度形状再構成とメッシュの高速レンダリングの利点を組み合わせるために,nerfとメッシュラスタイゼーションのハイブリッドフレームワークを提案する。 私たちの枠組みは3つの段階からなる。 1 入力顔画像におけるnerfモデルの学習による3次元形状の学習 2. トレーニングされたNeRFモデルからメッシュを抽出し、異なるラスタ化によるスタイル伝達目標を最適化すること。 3. 3次元面への任意のスタイル転送を可能にするスタイル埋め込みを条件としたNeRFの新しいカラーネットワークのトレーニング。 実験結果から,提案手法は高い3次元整合性を有する高品質なフェイススタイル転送を実現するとともに,フレキシブルなスタイル制御を実現する。

関連論文リスト

• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis [11.463969116010183]
  ArtNeRFは、3D対応のGANから派生した新しい顔スタイリングフレームワークである。 スタイル整合性を改善するために,スタイリングされた顔と三分岐判別器モジュールを合成する表現的ジェネレータを提案する。 実験により、ArtNeRFは任意のスタイルで高品質な3D対応マンガの顔を生成するのに多用途であることが示された。
  論文  参考訳（メタデータ） (2024-04-21T16:45:35Z)
• NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs [19.17715832282524]
  ニューラル・ラジアンス・フィールド(NeRF)は3次元幾何学の特定の関係とシーンの外観を符号化する。 2次元画像からNeRFへの古典的画像類似性を一般化する。 本手法は3次元形状と外観の混合・マッチング積空間を探索する。
  論文  参考訳（メタデータ） (2024-02-13T17:47:42Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• 3D Face Arbitrary Style Transfer [18.09280257466941]
  FDST(Face-Guided Dual Style Transfer)という新しい手法を提案する。 FDSTは3Dデカップリングモジュールを使用して顔の形状とテクスチャを分離する。 FDSTは、領域制御可能なスタイル転送、高忠実な顔テクスチャ再構築、芸術的な顔再構成など、多くの下流タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-14T08:51:51Z)
• StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning [50.65015652968839]
  3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。 最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。 本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:29:50Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis [92.25145204543904]
  StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
  論文  参考訳（メタデータ） (2021-10-18T02:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。