論文の概要: FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance

• arxiv url: http://arxiv.org/abs/2406.02074v1
• Date: Tue, 4 Jun 2024 07:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:21:12.766426
• Title: FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance
• Title（参考訳）: FaceCom: 最適化と塗装誘導による高忠実度3次元顔形状補完を目指して
• Authors: Yinglong Li, Hongyu Wu, Xiaogang Wang, Qingzhao Qin, Yijiao Zhao, Yong wang, Aimin Hao,
• Abstract要約: FaceComはメッシュベースの生成ネットワークに基づく3次元顔形状補完手法である。 まず、2405のIDを含む混合3次元顔データセット上で形状生成装置を訓練する。 不完全な顔入力に基づいて、画像の塗装指導下での最適化手法を用いて、完全な顔に適合する。
• 参考スコア（独自算出の注目度）: 21.86674015428813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose FaceCom, a method for 3D facial shape completion, which delivers high-fidelity results for incomplete facial inputs of arbitrary forms. Unlike end-to-end shape completion methods based on point clouds or voxels, our approach relies on a mesh-based generative network that is easy to optimize, enabling it to handle shape completion for irregular facial scans. We first train a shape generator on a mixed 3D facial dataset containing 2405 identities. Based on the incomplete facial input, we fit complete faces using an optimization approach under image inpainting guidance. The completion results are refined through a post-processing step. FaceCom demonstrates the ability to effectively and naturally complete facial scan data with varying missing regions and degrees of missing areas. Our method can be used in medical prosthetic fabrication and the registration of deficient scanning data. Our experimental results demonstrate that FaceCom achieves exceptional performance in fitting and shape completion tasks. The code is available at https://github.com/dragonylee/FaceCom.git.
• Abstract（参考訳）: 任意の形状の不完全な顔入力に対して高忠実度な結果を提供する3次元顔形状補完法であるFaceComを提案する。 ポイントクラウドやボクセルをベースとしたエンドツーエンドの形状補完手法とは異なり、我々のアプローチはメッシュベースの生成ネットワークに依存しており、最適化が容易であり、不規則な顔スキャンの形状補完を処理できる。 まず、2405のIDを含む混合3次元顔データセット上で形状生成装置を訓練する。 不完全な顔入力に基づいて、画像の塗装指導下での最適化手法を用いて、完全な顔に適合する。 完了結果を後処理ステップで洗練する。 FaceComは、さまざまな欠落した領域と欠落した領域の度合いで、効果的に自然に顔スキャンデータを完了する能力を示している。 本手法は, 医療用補綴物の製作や, 欠損スキャンデータの登録に利用することができる。 実験の結果,FaceComはフィッティングおよび形状完了タスクにおいて優れた性能を発揮することがわかった。 コードはhttps://github.com/dragonylee/FaceCom.gitで入手できる。

関連論文リスト

• Controllable 3D Face Generation with Conditional Style Code Diffusion [51.24656496304069]
  TEx-Face(TExt & Expression-to-Face)は、タスクを3D GANインバージョン、条件付きスタイルコード拡散、3D Face Decodingという3つのコンポーネントに分割することで、課題に対処する。 FFHQ、CelebA-HQ、CelebA-Dialogで実施された実験は、我々のTEx-Faceの有望なパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2023-12-21T15:32:49Z)
• Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Reconstruction [5.079602839359523]
  本稿では,250Kのフォトリアリスティック画像とそれに対応する形状パラメータと深度マップの大規模な合成データセットを生成する手法について述べる。 人間の顔のFLAME 3D Morphable Model(3DMM)から採取した深度マップ上での安定拡散条件により,人種と性別のバランスがとれるようにデザインされた多様な形状の顔画像を生成することができる。 我々は、3Dの監督や手動の3Dアセット作成を必要とせずに、NoWベンチマーク上での競合性能を実現する、SynthFaceでトレーニングされたディープニューラルネットワークであるControlFaceを提案する。
  論文  参考訳（メタデータ） (2023-07-25T16:42:06Z)
• Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution [68.8204255655161]
  マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。 2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。 3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
  論文  参考訳（メタデータ） (2022-11-25T09:15:38Z)
• HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting [0.7868449549351486]
  エンドツーエンドの複合顔認証システム、HiMFRを提案する。 マスクされた顔検出モジュールは、事前訓練された視覚変換器を適用して、顔がマスクで覆われているか否かを検出する。 Inpaintingモジュールは、GAN(Generative Adversarial Network)に基づいたきめ細かい画像のインペイントモデルを使用して、顔を復元する。 最後に、EfficientNetB3バックボーンを備えたViTに基づくハイブリッド顔認識モジュールは、顔を認識する。
  論文  参考訳（メタデータ） (2022-09-19T11:26:49Z)
• FaceOcc: A Diverse, High-quality Face Occlusion Dataset for Human Face Extraction [3.8502825594372703]
  隠蔽は野生の顔画像にしばしば発生し、ランドマーク検出や3D再構成、顔認識といった顔関連の課題に悩まされる。 本稿では,CelebA本社とインターネットから手動で顔の隠蔽をラベル付けした新しい顔のセグメンテーションデータセットを提案する。 簡単な顔分割モデルの訓練を行ったが,SOTA性能が得られ,提案したデータセットの有効性を実証した。
  論文  参考訳（メタデータ） (2022-01-20T19:44:18Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。