論文の概要: Face Frontalization Based on Robustly Fitting a Deformable Shape Model
to 3D Landmarks
- arxiv url: http://arxiv.org/abs/2010.13676v2
- Date: Wed, 10 Mar 2021 10:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 19:24:48.314329
- Title: Face Frontalization Based on Robustly Fitting a Deformable Shape Model
to 3D Landmarks
- Title（参考訳）: 変形可能な形状モデルの3次元ランドマークへのロバスト適合に基づく顔のフロンダライゼーション
- Authors: Zhiqi Kang, Mostafa Sadeghi and Radu Horaud
- Abstract要約: 顔の正面化は、任意に視認された顔から正面に視認された顔で構成される。
本論文の主な貢献は,画素対ピクセルワープを可能にする頑健な顔アライメント法である。
提案手法の重要な利点は、ノイズ(小摂動)と外乱(大誤差)の両方を扱う能力である。
- 参考スコア（独自算出の注目度）: 24.07648367866321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face frontalization consists of synthesizing a frontally-viewed face from an
arbitrarily-viewed one. The main contribution of this paper is a robust face
alignment method that enables pixel-to-pixel warping. The method simultaneously
estimates the rigid transformation (scale, rotation, and translation) and the
non-rigid deformation between two 3D point sets: a set of 3D landmarks
extracted from an arbitrary-viewed face, and a set of 3D landmarks
parameterized by a frontally-viewed deformable face model. An important merit
of the proposed method is its ability to deal both with noise (small
perturbations) and with outliers (large errors). We propose to model inliers
and outliers with the generalized Student's t-probability distribution
function, a heavy-tailed distribution that is immune to non-Gaussian errors in
the data. We describe in detail the associated expectation-maximization (EM)
algorithm that alternates between the estimation of (i) the rigid parameters,
(ii) the deformation parameters, and (iii) the Student-t distribution
parameters. We also propose to use the zero-mean normalized cross-correlation,
between a frontalized face and the corresponding ground-truth frontally-viewed
face, to evaluate the performance of frontalization. To this end, we use a
dataset that contains pairs of profile-viewed and frontally-viewed faces. This
evaluation, based on direct image-to-image comparison, stands in contrast with
indirect evaluation, based on analyzing the effect of frontalization on face
recognition.
- Abstract（参考訳）: 顔の正面化は、正面の面を任意に見る面から合成することからなる。
本論文の主な貢献は,画素対ピクセルワープを可能にする頑健な顔アライメント法である。
任意の面から抽出した3dランドマークのセットと、正面視変形可能な顔モデルによってパラメータ化された3dランドマークのセットとである2つの3dポイントセット間の剛性変換(スケール、回転、変換)と非剛性変形を同時に推定する。
提案手法の重要な利点は、ノイズ(小さな摂動)と外れ値(大きな誤差)の両方を扱う能力である。
本研究では,一般学生のt-確率分布関数を用いて,データ中の非ガウス誤差に影響を受けない重み付き分布をモデル化する。
本稿では,予測最大化(EM)アルゴリズムについて詳述する。
(i)厳格なパラメータ。
(ii)変形パラメータ、及び
(iii)学生t分布パラメータ。
また,前面とそれに対応する表面とのゼロ平均正規化相互相関を用いて,前面化の性能を評価することを提案する。
この目的のために、私たちは、プロファイルビューとフロントビューの顔のペアを含むデータセットを使用します。
この評価は、画像と画像の直接比較に基づいて、正面化が顔認識に与える影響を分析し、間接評価とは対照的である。
関連論文リスト
- OFER: Occluded Face Expression Reconstruction [16.06622406877353]
OFERは,多彩で表現力に富んだ3次元顔を生成することのできる,単一画像の3次元顔再構成のための新しいアプローチである。
本稿では,予測された形状精度スコアに基づいて形状拡散ネットワークの出力をソートし,最適マッチングを選択する新しいランキング機構を提案する。
論文 参考訳（メタデータ） (2024-10-29T00:21:26Z) - Semantic-aware One-shot Face Re-enactment with Dense Correspondence
Estimation [100.60938767993088]
ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。
本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
論文 参考訳（メタデータ） (2022-11-23T03:02:34Z) - Information Maximization for Extreme Pose Face Recognition [18.545778273606427]
我々は、結合エンコーダネットワークを用いて、正面/目立たしい顔画像を共通の埋め込み空間に投影する接続を利用する。
提案モデルは,顔の2つのビュー間の相互情報を最大化することにより,埋め込み空間における表現の類似性を強制する。
論文 参考訳（メタデータ） (2022-09-07T20:30:06Z) - Expression-preserving face frontalization improves visually assisted
speech processing [35.647888055229956]
本論文の主な貢献は,非剛性顔の変形を保存したフロンダル化手法である。
深層学習パイプラインに組み込むと、音声認識と音声の不信度スコアがかなりの差で向上することを示す。
論文 参考訳（メタデータ） (2022-04-06T13:22:24Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳（メタデータ） (2022-02-01T21:21:56Z) - Adversarial Parametric Pose Prior [106.12437086990853]
我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。
得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
論文 参考訳（メタデータ） (2021-12-08T10:05:32Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - Implicit-PDF: Non-Parametric Representation of Probability Distributions
on the Rotation Manifold [47.31074799708132]
我々はSO(3)上の任意の非パラメトリック分布を推定する手法を提案する。
私たちのキーとなるアイデアは、入力画像と候補ポーズの確率を推定するニューラルネットワークで、分布を暗黙的に表現することです。
我々はPascal3D+とModelNet10-SO(3)ベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-06-10T17:57:23Z) - Multi-person 3D Pose Estimation in Crowded Scenes Based on Multi-View
Geometry [62.29762409558553]
マルチパーソナライズされた3次元ポーズ推定手法における特徴マッチングと深さ推定のコアは、エピポーラ制約である。
スパサーの群衆シーンにおけるこの定式化の良好なパフォーマンスにもかかわらず、その効果はより密集した群衆の状況下でしばしば挑戦される。
本稿では,マルチパーソン3次元ポーズ推定式から脱却し,群衆ポーズ推定として再編成する。
論文 参考訳（メタデータ） (2020-07-21T17:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。