論文の概要: Makeup Prior Models for 3D Facial Makeup Estimation and Applications

• arxiv url: http://arxiv.org/abs/2403.17761v1
• Date: Tue, 26 Mar 2024 14:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 14:58:20.344088
• Title: Makeup Prior Models for 3D Facial Makeup Estimation and Applications
• Title（参考訳）: 3次元顔のメイクアップ推定のためのメイクアップ事前モデルとその応用
• Authors: Xingchao Yang, Takafumi Taketomi, Yuki Endo, Yoshihiro Kanamori,
• Abstract要約: 既存の3次元顔前モデルを拡張するために,PCAベースとStyleGAN2ベースという2種類の化粧前モデルを導入する。 実験では,計算コストを数桁削減し,最大180倍の高速化を実現した。
• 参考スコア（独自算出の注目度）: 2.9748898344267776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce two types of makeup prior models to extend existing 3D face prior models: PCA-based and StyleGAN2-based priors. The PCA-based prior model is a linear model that is easy to construct and is computationally efficient. However, it retains only low-frequency information. Conversely, the StyleGAN2-based model can represent high-frequency information with relatively higher computational cost than the PCA-based model. Although there is a trade-off between the two models, both are applicable to 3D facial makeup estimation and related applications. By leveraging makeup prior models and designing a makeup consistency module, we effectively address the challenges that previous methods faced in robustly estimating makeup, particularly in the context of handling self-occluded faces. In experiments, we demonstrate that our approach reduces computational costs by several orders of magnitude, achieving speeds up to 180 times faster. In addition, by improving the accuracy of the estimated makeup, we confirm that our methods are highly advantageous for various 3D facial makeup applications such as 3D makeup face reconstruction, user-friendly makeup editing, makeup transfer, and interpolation.
• Abstract（参考訳）: そこで本研究では,PCAベースとStyleGAN2ベースという,既存の3次元顔前モデルを拡張する2種類の化粧前モデルを提案する。 PCAベースの先行モデルは、構成が容易で計算効率が良い線形モデルである。 しかし、低周波情報のみを保持する。 逆に、StyleGAN2ベースのモデルは、PCAベースのモデルよりも比較的高い計算コストで高周波情報を表現することができる。 2つのモデルの間にはトレードオフがあるが、どちらも3D顔認証や関連する応用に適用できる。 メークアップ先行モデルを活用し,メイクアップ整合モジュールを設計することにより,メイクアップを頑健に推定する従来の手法が直面する課題を効果的に解決する。 実験では,計算コストを数桁削減し,最大180倍の高速化を実現した。 また, 推定メイクの精度を向上させることにより, 3次元メイク顔再構成, ユーザフレンドリーメイクアップ, メイクアップ, 補間など, 様々な3次元顔化粧の応用に極めて有利であることが確認された。

関連論文リスト

• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Pose Priors from Language Models [74.61186408764559]
  本稿では,正確な物理的接触制約を強制するゼロショットポーズ最適化法を提案する。 本手法は,近接した人物の驚くほど説得力のあるポーズを再現する。 従来の手法とは異なり,本手法は自己接触と対人接触を解消するための統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:36Z)
• Toward Tiny and High-quality Facial Makeup with Data Amplify Learning [40.42511481892363]
  小型メイクモデル「TinyBeauty」とともに「データ増幅学習」を提案する。 DALの中核となる考え方は、DDA(Diffusion-based Data Amplifier)を使用して、モデルトレーニングのために制限されたイメージを"増幅"することにある。 TinyBeautyはiPhone 13で460fpsという驚くべき速度を実現している。
  論文  参考訳（メタデータ） (2024-03-22T08:32:30Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• Effective Adapter for Face Recognition in the Wild [72.75516495170199]
  私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。 従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。 高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:55:46Z)
• 3D-Aware Adversarial Makeup Generation for Facial Privacy Protection [23.915259014651337]
  3DAM-GAN(3DAM-GAN) 新しいメイクアップ調整モジュール(MAM)とメイクアップ転送モジュール(MTM)で構成されるUVベースのジェネレータは、現実的で堅牢なメイクアップをレンダリングするために設計されている。 いくつかのベンチマークデータセットの実験結果は、3DAM-GANが様々なFRモデルに対して効果的に顔を保護することを示した。
  論文  参考訳（メタデータ） (2023-06-26T12:27:59Z)
• Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition [4.726777092009553]
  本稿では,1枚の化粧像から3次元顔モデルのための化粧品を抽出する最初の方法を提案する。 粗い材料を抽出するために, 回帰ベースの逆レンダリングにより, 3次元形態素モデルの強みを生かした。 本手法は3次元顔モデルだけでなく2次元顔画像にも様々な用途を提供する。
  論文  参考訳（メタデータ） (2023-02-26T09:48:57Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
  本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
  論文  参考訳（メタデータ） (2020-10-04T20:51:23Z)
• JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling [22.584569656416864]
  関節型顔リグとニューラルスキンネットワークを用いた3次元顔モデル学習手法を提案する。 結合型表現のおかげで、我々のモデルは以前のブレンドシェープモデルよりもいくつかの大きな利点を享受できる。
  論文  参考訳（メタデータ） (2020-07-14T01:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。