論文の概要: Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection

• arxiv url: http://arxiv.org/abs/2106.07852v1
• Date: Tue, 15 Jun 2021 03:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:04:17.416999
• Title: Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection
• Title（参考訳）: 写真収集から3d顔を集約・パーソナライズする学習
• Authors: Zhenyu Zhang, Yanhao Ge, Renwang Chen, Ying Tai, Yan Yan, Jian Yang, Chengjie Wang, Jilin Li, Feiyue Huang
• Abstract要約: 非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 65.92058628082322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-parametric face modeling aims to reconstruct 3D face only from images without shape assumptions. While plausible facial details are predicted, the models tend to over-depend on local color appearance and suffer from ambiguous noise. To address such problem, this paper presents a novel Learning to Aggregate and Personalize (LAP) framework for unsupervised robust 3D face modeling. Instead of using controlled environment, the proposed method implicitly disentangles ID-consistent and scene-specific face from unconstrained photo set. Specifically, to learn ID-consistent face, LAP adaptively aggregates intrinsic face factors of an identity based on a novel curriculum learning approach with relaxed consistency loss. To adapt the face for a personalized scene, we propose a novel attribute-refining network to modify ID-consistent face with target attribute and details. Based on the proposed method, we make unsupervised 3D face modeling benefit from meaningful image facial structure and possibly higher resolutions. Extensive experiments on benchmarks show LAP recovers superior or competitive face shape and texture, compared with state-of-the-art (SOTA) methods with or without prior and supervision.
• Abstract（参考訳）: 非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 正確な顔の詳細は予測されるが、モデルは局所的な色調に過度に依存し、あいまいなノイズに苦しむ傾向がある。 このような問題に対処するために,非教師付き堅牢な3次元顔モデリングのためのLAPフレームワークを提案する。 制御された環境を使用する代わりに、提案手法は、制約のない写真集合からIDとシーン固有の顔を暗黙的に切り離す。 具体的には、ID一貫性のある顔を学ぶために、LAPは、リラックスした一貫性損失を伴う新しいカリキュラム学習アプローチに基づいて、アイデンティティの固有の顔要素を適応的に集約する。 パーソナライズされたシーンに顔を適用するために,id一貫性のある顔をターゲット属性と詳細で修正する新しい属性改善ネットワークを提案する。 提案手法に基づき,有意義な顔構造と高精細度を生かして,教師なしの3次元顔モデリングを実現する。 ベンチマークによる大規模な実験により、LAPは、最先端のSOTA(State-of-the-art)手法と比較して、優れた顔の形やテクスチャを回復することが示された。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
  自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。 自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。 自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:34:05Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Segmentation-Reconstruction-Guided Facial Image De-occlusion [48.952656891182826]
  隠蔽は野生の顔画像で非常に一般的であり、顔関連タスクの劣化パフォーマンスに繋がる。 本稿では,顔分割と3次元顔再構成に基づく新しい顔除去モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-15T10:40:08Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting [22.24046752858929]
  本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。 具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。 実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-14T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。