論文の概要: Generalizable Face Landmarking Guided by Conditional Face Warping
- arxiv url: http://arxiv.org/abs/2404.12322v1
- Date: Thu, 18 Apr 2024 16:53:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 18:52:16.609216
- Title: Generalizable Face Landmarking Guided by Conditional Face Warping
- Title（参考訳）: コンディショナル・フェイス・ワープによる一般化可能な顔ランドマーク
- Authors: Jiayi Liang, Haotian Liu, Hongteng Xu, Dixin Luo,
- Abstract要約: 本研究では,ラベル付き実顔とラベル付けされていないスタイリング顔に基づいて,一般化可能な顔ランドマーク学習パラダイムを提案する。
本手法は条件付きフェースワーナーのキーモジュールとして顔ランドマークを学習する。
実験により,本手法は顔のランドマーク化タスクにおいて,既存の最先端領域適応手法よりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 34.49985314656207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a significant step for human face modeling, editing, and generation, face landmarking aims at extracting facial keypoints from images. A generalizable face landmarker is required in practice because real-world facial images, e.g., the avatars in animations and games, are often stylized in various ways. However, achieving generalizable face landmarking is challenging due to the diversity of facial styles and the scarcity of labeled stylized faces. In this study, we propose a simple but effective paradigm to learn a generalizable face landmarker based on labeled real human faces and unlabeled stylized faces. Our method learns the face landmarker as the key module of a conditional face warper. Given a pair of real and stylized facial images, the conditional face warper predicts a warping field from the real face to the stylized one, in which the face landmarker predicts the ending points of the warping field and provides us with high-quality pseudo landmarks for the corresponding stylized facial images. Applying an alternating optimization strategy, we learn the face landmarker to minimize $i)$ the discrepancy between the stylized faces and the warped real ones and $ii)$ the prediction errors of both real and pseudo landmarks. Experiments on various datasets show that our method outperforms existing state-of-the-art domain adaptation methods in face landmarking tasks, leading to a face landmarker with better generalizability. Code is available at https://plustwo0.github.io/project-face-landmarker}{https://plustwo0.github.io/project-face-landmarker.
- Abstract（参考訳）: 人間の顔のモデリング、編集、生成の重要なステップとして、顔のランドマークは、画像から顔のキーポイントを抽出することを目的としている。
現実の顔画像、例えばアニメーションやゲームにおけるアバターは、様々な方法でスタイル化されているため、現実には一般化可能な顔ランドマークが必要である。
しかし、顔のスタイルの多様性とラベル付き顔の不足により、一般化可能な顔のランドマーク化は困難である。
本研究では,ラベル付き実顔とラベル付きスタイリングされていない顔に基づいて,一般化可能な顔ランドマークを学習するための,シンプルで効果的なパラダイムを提案する。
本手法は条件付きフェースワーナーのキーモジュールとして顔ランドマークを学習する。
一対のリアルかつスタイリッシュな顔画像が与えられた場合、条件付き顔ワーパーは、実際の顔からスタイリッシュな顔へのワープフィールドを予測し、顔ランドマークがワープフィールドの終点を予測し、対応するスタイリッシュな顔画像に対して高品質な擬似ランドマークを提供する。
交互に最適化戦略を適用することで、顔ランドマークを最小化するためにi)スタイリングされた顔と歪んだ実物との相違とii)実際のランドマークと擬似ランドマークの両方の予測エラーについて学習する。
種々のデータセットを用いた実験により,本手法は顔のランドマーク化タスクにおいて,既存の最先端ドメイン適応手法よりも優れており,より一般化可能な顔ランドマークが得られた。
コードはhttps://plustwo0.github.io/project-face-landmarker}{https://plustwo0.github.io/project-face-landmarkerで入手できる。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。
我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
論文 参考訳（メタデータ） (2024-03-25T17:59:57Z) - LAFS: Landmark-based Facial Self-supervised Learning for Face
Recognition [37.4550614524874]
我々は、効果的な顔認識モデルの訓練に適応できる顔表現の学習に焦点をあてる。
本研究では,自己教師付き事前学習による未ラベル顔画像の学習戦略について検討する。
提案手法は,複数の顔認識ベンチマークにおける最先端技術よりも大幅に向上する。
論文 参考訳（メタデータ） (2024-03-13T01:07:55Z) - A survey and classification of face alignment methods based on face
models [0.0]
顔アライメントに使用されるさまざまな顔モデルの包括的解析を行う。
顔モデルの解釈と訓練に加えて、顔モデルを新しい顔画像に適合させる例も含む。
深層学習法では熱マップがよく用いられるのに対し、3Dベースの顔モデルは極端な顔のポーズの場合に好まれることがわかった。
論文 参考訳（メタデータ） (2023-11-06T13:09:04Z) - Controlling Memorability of Face Images [5.000272778136267]
本稿では,顔画像の記憶性を変化させ,制御するための高速なアプローチを提案する。
われわれはまず、StyleGANの潜在空間に超平面を発見し、高解像度と低解像度の記憶可能な画像を分離した。
今回我々は,StyleGAN拡張潜伏空間の異なる層が顔の記憶にどう寄与するかを解析した。
論文 参考訳（メタデータ） (2022-02-24T04:33:55Z) - Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
Inpainting Generative Adversarial Network, Pro-UIGANを提案する。
顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。
Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-08-02T02:29:24Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - LandmarkGAN: Synthesizing Faces from Landmarks [43.53204737135101]
顔のランドマークに基づいた顔合成を入力として行う新しい手法であるLandmarkGANについて述べる。
提案手法では,顔のランドマークの集合を異なる対象の新たな顔に変換することができるが,顔の表情や向きは同一である。
論文 参考訳（メタデータ） (2020-10-31T13:27:21Z) - FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。
提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
論文 参考訳（メタデータ） (2020-05-13T16:15:37Z) - Face Hallucination with Finishing Touches [65.14864257585835]
本稿では,超解像とフロンティア化を同時に行うVivid Face Hallucination Generative Adversarial Network (VividGAN)を提案する。
VividGANは粗いレベルと細かなレベルのFace Hallucination Networks (FHnet)と、粗いDとファインDの2つの識別器で構成されている。
実験により、VvidGANは、フォトリアリスティックな正面HR面を達成し、下流タスクにおいて優れた性能を達成できることが示された。
論文 参考訳（メタデータ） (2020-02-09T07:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。