論文の概要: FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2503.17095v1
- Date: Fri, 21 Mar 2025 12:24:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:57:40.421700
- Title: FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields
- Title（参考訳）: FFaceNeRF:ニューラルラジアンスフィールドでの顔編集
- Authors: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh,
- Abstract要約: マスクを用いた最近の3次元顔編集法は、NeRF(Neural Radiance Fields)を利用して高品質な編集画像を生成する。
我々は,マスクレイアウトの固定化によるユーザ制御の制限を克服する,NeRFベースの顔編集技術であるFFaceNeRFを提案する。
- 参考スコア（独自算出の注目度）: 4.599829659954009
- License:
- Abstract: Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {\href{https://kwanyun.github.io/FFaceNeRF_page/}{project-page}}.
- Abstract（参考訳）: マスクを用いた最近の3次元顔編集法は,Neural Radiance Fields (NeRF) を利用して高品質な編集画像を生成する。
優れた性能にもかかわらず、既存の手法は、事前訓練されたセグメンテーションマスクを使用するため、制限されたユーザコントロールを提供することが多い。
望ましいレイアウトでマスクを利用するには、広範なトレーニングデータセットが必要であるため、収集は困難である。
我々は,マスクレイアウトの固定化によるユーザ制御の制限を克服する,NeRFベースの顔編集技術であるFFaceNeRFを提案する。
提案手法では,特徴注入を付加した幾何学的アダプタを用いて,幾何学的属性を効果的に操作することができる。
さらに,3面強化のための潜水ミキシングも導入し,いくつかの試料によるトレーニングを可能にした。
これは、パーソナライズされた医療画像や創造的な顔編集などの分野での応用に不可欠である、望ましいマスクレイアウトへの迅速なモデル適応を促進する。
比較評価の結果、FFaceNeRFは、フレキシビリティ、制御、生成した画像品質の観点から、既存のマスクベースの顔編集手法を超越し、カスタマイズされた高忠実な3D顔編集における将来の進歩の道を開いた。
コードは {\href{https://kwanyun.github.io/FFaceNeRF_page/}{project-page}}で公開されている。
関連論文リスト
- Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。
任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。
本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
論文 参考訳（メタデータ） (2024-10-07T12:04:39Z) - Face Mask Removal with Region-attentive Face Inpainting [0.7433327915285965]
本研究では,顔のマスク部分の復元・再構成を行う生成顔インペイント法を提案する。
提案手法は,空間情報損失を軽減するため,M-CSAM (M-scale Channel-Spatial Attention Module) を含む。
我々は、CelebAデータセットから5種類のマスクを組み込むことで、独自のMasked-Facesデータセットを合成する。
論文 参考訳（メタデータ） (2024-09-10T20:10:11Z) - NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。
我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。
以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
論文 参考訳（メタデータ） (2024-04-30T02:04:49Z) - MaTe3D: Mask-guided Text-based 3D-aware Portrait Editing [61.014328598895524]
textbfMaTe3D:マスク誘導型テキストベースの3D画像編集を提案する。
SDFに基づく新しい3Dジェネレータは,SDFと密度の整合性損失により局所的およびグローバルな表現を学習する。
幾何とテクスチャの条件蒸留(CDGT)は視覚的曖昧さを軽減し、テクスチャと幾何学のミスマッチを避ける。
論文 参考訳（メタデータ） (2023-12-12T03:04:08Z) - FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and
Relighting with Diffusion Models [67.17713009917095]
単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。
慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
論文 参考訳（メタデータ） (2023-06-01T15:14:39Z) - NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields [40.543998582101146]
ニューラル放射場における幾何と外観の編集とデカップリングを可能にするNeRFFaceEditingを導入する。
提案手法では,ユーザが幾何学と外観の分離した制御を施したセマンティックマスクによる編集が可能となる。
定性的かつ定量的な評価は,既存の解や代替解と比較して,本手法の幾何学的・外見的制御能力に優れていることを示す。
論文 参考訳（メタデータ） (2022-11-15T08:11:39Z) - HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting [0.7868449549351486]
エンドツーエンドの複合顔認証システム、HiMFRを提案する。
マスクされた顔検出モジュールは、事前訓練された視覚変換器を適用して、顔がマスクで覆われているか否かを検出する。
Inpaintingモジュールは、GAN(Generative Adversarial Network)に基づいたきめ細かい画像のインペイントモデルを使用して、顔を復元する。
最後に、EfficientNetB3バックボーンを備えたViTに基づくハイブリッド顔認識モジュールは、顔を認識する。
論文 参考訳（メタデータ） (2022-09-19T11:26:49Z) - Layered Depth Refinement with Mask Guidance [61.10654666344419]
汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。
本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。
本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-06-07T06:42:44Z) - Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face
Presentation Attack Detection [103.7264459186552]
顔認識システムには、顔提示攻撃検出(PAD)が不可欠である。
ほとんどの既存の3DマスクPADベンチマークにはいくつかの欠点があります。
現実世界のアプリケーションとのギャップを埋めるために、大規模なハイファイアリティマスクデータセットを紹介します。
論文 参考訳（メタデータ） (2021-04-13T12:48:38Z) - A 3D model-based approach for fitting masks to faces in the wild [9.958467179573235]
マスクされた顔に対する様々なポーズの顔画像を増やすために,WearMask3Dと呼ばれる3次元モデルに基づくアプローチを提案する。
提案手法は,まず入力画像に3D形態素モデルを適用し,マスク表面を顔モデルにオーバーレイし,各マスクテクスチャをワープし,最後に3Dマスクを2Dに投影することで進行する。
実験の結果,wearmask3dはよりリアルなマスク画像を生成することを示し,これらの画像を用いたトレーニングによりマスク顔の認識精度が向上した。
論文 参考訳（メタデータ） (2021-03-01T06:50:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。