論文の概要: FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face
Video Editing on Dynamic NeRF
- arxiv url: http://arxiv.org/abs/2401.02616v1
- Date: Fri, 5 Jan 2024 03:23:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 16:05:59.690110
- Title: FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face
Video Editing on Dynamic NeRF
- Title（参考訳）: FED-NeRF:動的NeRFによる顔映像編集のための高3次元一貫性と時間コヒーレンスを実現する
- Authors: Hao Zhang, Yu-Wing Tai, Chi-Keung Tang
- Abstract要約: 本稿では,動的顔GAN-NeRF構造上に構築された新しい顔ビデオ編集アーキテクチャを提案する。
潜在コードの編集により、マルチビューステレオ再構成によって検証されるように、顔上でのマルチビュー一貫した編集を確実にすることができる。
本研究では,連続フレームにおける表情のスムーズな変化を保存し,時間的コヒーレンスを維持する安定化器を提案する。
- 参考スコア（独自算出の注目度）: 77.94545888842883
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The success of the GAN-NeRF structure has enabled face editing on NeRF to
maintain 3D view consistency. However, achieving simultaneously multi-view
consistency and temporal coherence while editing video sequences remains a
formidable challenge. This paper proposes a novel face video editing
architecture built upon the dynamic face GAN-NeRF structure, which effectively
utilizes video sequences to restore the latent code and 3D face geometry. By
editing the latent code, multi-view consistent editing on the face can be
ensured, as validated by multiview stereo reconstruction on the resulting
edited images in our dynamic NeRF. As the estimation of face geometries occurs
on a frame-by-frame basis, this may introduce a jittering issue. We propose a
stabilizer that maintains temporal coherence by preserving smooth changes of
face expressions in consecutive frames. Quantitative and qualitative analyses
reveal that our method, as the pioneering 4D face video editor, achieves
state-of-the-art performance in comparison to existing 2D or 3D-based
approaches independently addressing identity and motion. Codes will be
released.
- Abstract（参考訳）: GAN-NeRF構造の成功により、NeRF上での顔編集により、3Dビューの一貫性が維持できるようになった。
しかし、ビデオシーケンスの編集中に複数ビューの一貫性と時間的コヒーレンスを同時に達成することは、依然として困難な課題である。
本稿では,動的顔 GAN-NeRF 構造上に構築された新しい顔映像編集アーキテクチャを提案する。
遅延符号を編集することにより、動的NeRFの編集画像に対するマルチビューステレオ再構成により、顔上の複数ビュー一貫した編集を確実にすることができる。
フェースジオメトリの推定はフレーム単位で行われるため、ジッタリングの問題を引き起こす可能性がある。
連続フレームにおける表情の滑らかな変化を保存し,時間的コヒーレンスを維持する安定化器を提案する。
定量的・質的分析により,4次元映像編集の先駆的手法である本手法は,アイデンティティと動作を独立に扱う既存の2dおよび3dベースの手法と比較して,最先端のパフォーマンスを実現していることが明らかとなった。
コードはリリースされる。
関連論文リスト
- SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing [58.22339174221563]
高忠実度3Dシーン編集のための新しい幾何誘導型マルチビュー一貫したノイズ編集手法SyncNoiseを提案する。
SyncNoiseは2次元拡散モデルで複数のビューを同期的に編集し、幾何的に一貫した多視点ノイズ予測を行う。
本手法は,特に複雑なテクスチャを持つシーンにおいて,テキストの指示に配慮した高品質な3D編集結果を実現する。
論文 参考訳（メタデータ） (2024-06-25T09:17:35Z) - FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and
Relighting with Diffusion Models [67.17713009917095]
単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。
慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
論文 参考訳（メタデータ） (2023-06-01T15:14:39Z) - IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware
Portrait Synthesis [38.517819699560945]
システムを構成する3つの主要なコンポーネントは,(1)図形に一貫性のある,不整合な顔画像とセマンティックマスクを生成する3次元セマンティック認識生成モデル,(2)意味的およびテクスチャエンコーダから潜伏符号を初期化し,さらに忠実な再構築のために最適化するハイブリッドGANインバージョンアプローチ,(3)カノニカルビューにおけるセマンティックマスクの効率的な操作を可能にするカノニカルエディタ,の3つである。
論文 参考訳（メタデータ） (2022-05-31T03:35:44Z) - UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video
Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。
本フレームワークは,顔交換と顔再現を同時に行うように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2021-08-12T10:35:22Z) - Online Adaptation for Consistent Mesh Reconstruction in the Wild [147.22708151409765]
入ってくるテストビデオに適用する自己教師型オンライン適応問題として、ビデオベースの再構成を行う。
我々は,野生で捕獲された動物を含む非剛体物体のビデオから,時間的に一貫した信頼性の高い3D構造を復元できることを実証した。
論文 参考訳（メタデータ） (2020-12-06T07:22:27Z) - Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。
3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2020-07-03T02:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。