論文の概要: FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models

• arxiv url: http://arxiv.org/abs/2306.00783v2
• Date: Mon, 4 Dec 2023 16:25:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:20:08.128533
• Title: FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models
• Title（参考訳）: facenerf: セマンティクス駆動の顔再構成、迅速な編集、拡散モデルによるリライト
• Authors: Hao Zhang, Yanbo Xu, Tianyuan Dai, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。 慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
• 参考スコア（独自算出の注目度）: 67.17713009917095
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The ability to create high-quality 3D faces from a single image has become increasingly important with wide applications in video conferencing, AR/VR, and advanced video editing in movie industries. In this paper, we propose Face Diffusion NeRF (FaceDNeRF), a new generative method to reconstruct high-quality Face NeRFs from single images, complete with semantic editing and relighting capabilities. FaceDNeRF utilizes high-resolution 3D GAN inversion and expertly trained 2D latent-diffusion model, allowing users to manipulate and construct Face NeRFs in zero-shot learning without the need for explicit 3D data. With carefully designed illumination and identity preserving loss, as well as multi-modal pre-training, FaceDNeRF offers users unparalleled control over the editing process enabling them to create and edit face NeRFs using just single-view images, text prompts, and explicit target lighting. The advanced features of FaceDNeRF have been designed to produce more impressive results than existing 2D editing approaches that rely on 2D segmentation maps for editable attributes. Experiments show that our FaceDNeRF achieves exceptionally realistic results and unprecedented flexibility in editing compared with state-of-the-art 3D face reconstruction and editing methods. Our code will be available at https://github.com/BillyXYB/FaceDNeRF.
• Abstract（参考訳）: 単一の画像から高品質な3D顔を作る能力は、ビデオ会議、AR/VR、映画産業における高度なビデオ編集の幅広い応用において、ますます重要になっている。 本稿では,単一画像から高品質な顔NeRFを再構成する新たな生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。 FaceDNeRFは高解像度の3D GANインバージョンと専門的に訓練された2D潜伏拡散モデルを使用し、明示的な3Dデータを必要としないゼロショット学習でFace NeRFを操作および構築することができる。 FaceDNeRFは、慎重にデザインされた照明とアイデンティティ保護の損失と、マルチモーダルな事前トレーニングによって、単一のビューイメージ、テキストプロンプト、明示的なターゲット照明を使用して、顔NeRFを作成および編集できる編集プロセスの制御を、ユーザに提供します。 FaceDNeRFの高度な機能は、編集可能な属性のために2Dセグメンテーションマップに依存する既存の2D編集アプローチよりも印象的な結果をもたらすように設計されている。 実験の結果,FaceDNeRFは最先端の3D顔の再構成や編集方法と比較して,極めて現実的な結果と編集の柔軟性を達成できた。 私たちのコードはhttps://github.com/billyxyb/facednerfで利用可能です。

関連論文リスト

• GenN2N: Generative NeRF2NeRF Translation [53.20986183316661]
  GenN2Nは、様々なNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークである。 2Dドメインの編集と2D編集を3D NeRF空間に持ち上げるために、プラグイン・アンド・プレイのイメージ・ツー・イメージ・トランスレータを使用している。
  論文  参考訳（メタデータ） (2024-04-03T14:56:06Z)
• FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face Video Editing on Dynamic NeRF [77.94545888842883]
  本稿では,動的顔GAN-NeRF構造上に構築された新しい顔ビデオ編集アーキテクチャを提案する。 潜在コードの編集により、マルチビューステレオ再構成によって検証されるように、顔上でのマルチビュー一貫した編集を確実にすることができる。 本研究では,連続フレームにおける表情のスムーズな変化を保存し,時間的コヒーレンスを維持する安定化器を提案する。
  論文  参考訳（メタデータ） (2024-01-05T03:23:38Z)
• ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context [26.07841568311428]
  メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。 我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。 局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
  論文  参考訳（メタデータ） (2023-10-15T21:54:45Z)
• ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
  ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。 現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。 このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
  論文  参考訳（メタデータ） (2023-10-04T10:28:38Z)
• Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
  Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
  論文  参考訳（メタデータ） (2023-07-27T18:08:19Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。