論文の概要: Diffusion-based Facial Aesthetics Enhancement with 3D Structure Guidance

• arxiv url: http://arxiv.org/abs/2503.14402v1
• Date: Tue, 18 Mar 2025 16:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:41.866512
• Title: Diffusion-based Facial Aesthetics Enhancement with 3D Structure Guidance
• Title（参考訳）: 3次元構造誘導による拡散型顔面美意識の増強
• Authors: Lisha Li, Jingwen Hou, Weide Liu, Yuming Fang, Jiebin Yan,
• Abstract要約: 顔画像の構造と外観を調整することにより、顔の魅力を高めることを目的としている。 既存のほとんどの手法では、FAEを行うための生成モデルに対して、深い特徴ベースまたはスコアベースのガイダンスが採用されている。 本研究では,2次元顔画像に3次元構造ガイダンスを付加した拡散型FAE法であるDiffusion (NNSG-Diffusion) に基づく最近傍構造誘導法を提案する。
• 参考スコア（独自算出の注目度）: 31.06758231268377
• License:
• Abstract: Facial Aesthetics Enhancement (FAE) aims to improve facial attractiveness by adjusting the structure and appearance of a facial image while preserving its identity as much as possible. Most existing methods adopted deep feature-based or score-based guidance for generation models to conduct FAE. Although these methods achieved promising results, they potentially produced excessively beautified results with lower identity consistency or insufficiently improved facial attractiveness. To enhance facial aesthetics with less loss of identity, we propose the Nearest Neighbor Structure Guidance based on Diffusion (NNSG-Diffusion), a diffusion-based FAE method that beautifies a 2D facial image with 3D structure guidance. Specifically, we propose to extract FAE guidance from a nearest neighbor reference face. To allow for less change of facial structures in the FAE process, a 3D face model is recovered by referring to both the matched 2D reference face and the 2D input face, so that the depth and contour guidance can be extracted from the 3D face model. Then the depth and contour clues can provide effective guidance to Stable Diffusion with ControlNet for FAE. Extensive experiments demonstrate that our method is superior to previous relevant methods in enhancing facial aesthetics while preserving facial identity.
• Abstract（参考訳）: 顔の審美性向上(FAE)は、顔の構造と外観を可能な限り保存し、顔の魅力を高めることを目的としている。 既存のほとんどの手法では、FAEを行うための生成モデルに対して、深い特徴ベースまたはスコアベースのガイダンスが採用されている。 これらの手法は有望な結果を得たが、識別一貫性が低く、顔の魅力が不十分な、過度に美化された結果を生み出す可能性がある。 顔の審美性を向上するために,拡散(NNSG-Diffusion)に基づくNearest Neighbor Structure Guidanceを提案する。 具体的には、最寄りの参照顔からFAEガイダンスを抽出することを提案する。 FAE工程における顔構造の変化を少なくするため、マッチングされた2D基準面と2D入力面の両方を参照して3D顔モデルを復元し、3D顔モデルから深さと輪郭のガイダンスを抽出する。 次に、深度と輪郭の手がかりは、FAEのためのControlNetによる安定拡散への効果的なガイダンスを提供することができる。 本手法は, 顔の同一性を保ちながら, 顔の審美性を向上する上で, 従来の方法よりも優れていることを示す。

関連論文リスト

• Generative Face Parsing Map Guided 3D Face Reconstruction Under Occluded Scenes [4.542616945567623]
  ランドマークで案内された完全な顔解析マップ生成法を提案する。 優れた隠蔽顔復元法は、出力の真偽を確実にする。
  論文  参考訳（メタデータ） (2024-12-25T14:49:41Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)
• FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces [23.371653986614792]
  本稿では,幾何学的側面と外見的側面の両方において,顔の魅力を高めるためのGAN(Generative Adversarial Networks)を提案する。 FA-GANは2つの枝を含み、顔の幾何学と顔の外観という2つの視点で顔の魅力を高める。 その結果,我々のFA-GANは幾何学的構造と顔の外観の両方において説得力のある知覚結果が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-05-17T05:02:39Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。