論文の概要: NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2211.07968v1
- Date: Tue, 15 Nov 2022 08:11:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:36:55.711879
- Title: NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields
- Title（参考訳）: nerffaceediting:neural radiance fieldにおける異方性顔編集
- Authors: Kaiwen Jiang, Shu-Yu Chen, Feng-Lin Liu, Hongbo Fu, Lin Gao
- Abstract要約: ニューラル放射場における幾何と外観の編集とデカップリングを可能にするNeRFFaceEditingを導入する。
提案手法では,ユーザが幾何学と外観の分離した制御を施したセマンティックマスクによる編集が可能となる。
定性的かつ定量的な評価は,既存の解や代替解と比較して,本手法の幾何学的・外見的制御能力に優れていることを示す。
- 参考スコア（独自算出の注目度）: 40.543998582101146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent methods for synthesizing 3D-aware face images have achieved rapid
development thanks to neural radiance fields, allowing for high quality and
fast inference speed. However, existing solutions for editing facial geometry
and appearance independently usually require retraining and are not optimized
for the recent work of generation, thus tending to lag behind the generation
process. To address these issues, we introduce NeRFFaceEditing, which enables
editing and decoupling geometry and appearance in the pretrained
tri-plane-based neural radiance field while retaining its high quality and fast
inference speed. Our key idea for disentanglement is to use the statistics of
the tri-plane to represent the high-level appearance of its corresponding
facial volume. Moreover, we leverage a generated 3D-continuous semantic mask as
an intermediary for geometry editing. We devise a geometry decoder (whose
output is unchanged when the appearance changes) and an appearance decoder. The
geometry decoder aligns the original facial volume with the semantic mask
volume. We also enhance the disentanglement by explicitly regularizing rendered
images with the same appearance but different geometry to be similar in terms
of color distribution for each facial component separately. Our method allows
users to edit via semantic masks with decoupled control of geometry and
appearance. Both qualitative and quantitative evaluations show the superior
geometry and appearance control abilities of our method compared to existing
and alternative solutions.
- Abstract（参考訳）: 近年の3次元顔画像合成法は, 神経放射場により急速に発展し, 高品質で高速な推論速度を実現している。
しかしながら、顔の形状や外観を独立して編集する既存のソリューションは、通常、再訓練を必要とし、最近の生成作業に最適化されていないため、生成プロセスに遅れが生じる傾向がある。
これらの問題に対処するため,我々は,事前学習された三面体に基づく神経放射場における幾何学と外観の編集と分離を可能にしつつ,高品質で高速な推論速度を保ちながら,nerffaceeditingを導入する。
我々は三面体の統計を用いて、対応する顔の容積の高レベルな外観を表現する。
さらに,生成した3次元連続的なセマンティックマスクを幾何学的編集の仲介手段として活用する。
形状デコーダ(外観が変化しても出力が変化しない)と外観デコーダを考案する。
ジオメトリデコーダは、元の顔容積とセマンティックマスク容積を整列する。
また、顔成分ごとに色分布を別々に表わすように、同一の外観で異なる形状のレンダリング画像を明示的に規則化することにより、異方性を高める。
提案手法では,ユーザが幾何学と外観の分離した制御でセマンティックマスクで編集できる。
質的および定量的評価は, 既存の解および代替解と比較して, 優れた幾何学的, 外観制御能力を示す。
関連論文リスト
- Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。
任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。
本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
論文 参考訳（メタデータ） (2024-10-07T12:04:39Z) - 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。
既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。
我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
論文 参考訳（メタデータ） (2024-04-05T14:00:07Z) - Text-Guided 3D Face Synthesis -- From Generation to Editing [53.86765812392627]
顔生成から編集までの統一的なテキスト誘導フレームワークを提案する。
我々は、RGBおよびYUV空間のテクスチャ品質を高めるために、微調整されたテクスチャ拡散モデルを用いている。
整合性を維持しつつ編集効率を向上させるための自己誘導整合性ウェイト戦略を提案する。
論文 参考訳（メタデータ） (2023-12-01T06:36:23Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳（メタデータ） (2023-10-09T04:07:00Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳（メタデータ） (2022-09-28T10:05:16Z) - IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware
Portrait Synthesis [38.517819699560945]
システムを構成する3つの主要なコンポーネントは,(1)図形に一貫性のある,不整合な顔画像とセマンティックマスクを生成する3次元セマンティック認識生成モデル,(2)意味的およびテクスチャエンコーダから潜伏符号を初期化し,さらに忠実な再構築のために最適化するハイブリッドGANインバージョンアプローチ,(3)カノニカルビューにおけるセマンティックマスクの効率的な操作を可能にするカノニカルエディタ,の3つである。
論文 参考訳（メタデータ） (2022-05-31T03:35:44Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳（メタデータ） (2021-10-06T17:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。