論文の概要: Towards Metrical Reconstruction of Human Faces
- arxiv url: http://arxiv.org/abs/2204.06607v1
- Date: Wed, 13 Apr 2022 18:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 13:17:53.192415
- Title: Towards Metrical Reconstruction of Human Faces
- Title（参考訳）: 顔の計量的再構築に向けて
- Authors: Wojciech Zielonka and Timo Bolkart and Justus Thies
- Abstract要約: 顔の形状を学習するための教師付きトレーニングスキームについて論じる。
大規模な2次元画像データセットで事前訓練した顔認識ネットワークを利用する。
提案手法は,最先端の再建手法よりも大きなマージンで優れる。
- 参考スコア（独自算出の注目度）: 20.782425305421505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face reconstruction and tracking is a building block of numerous applications
in AR/VR, human-machine interaction, as well as medical applications. Most of
these applications rely on a metrically correct prediction of the shape,
especially, when the reconstructed subject is put into a metrical context
(i.e., when there is a reference object of known size). A metrical
reconstruction is also needed for any application that measures distances and
dimensions of the subject (e.g., to virtually fit a glasses frame).
State-of-the-art methods for face reconstruction from a single image are
trained on large 2D image datasets in a self-supervised fashion. However, due
to the nature of a perspective projection they are not able to reconstruct the
actual face dimensions, and even predicting the average human face outperforms
some of these methods in a metrical sense. To learn the actual shape of a face,
we argue for a supervised training scheme. Since there exists no large-scale 3D
dataset for this task, we annotated and unified small- and medium-scale
databases. The resulting unified dataset is still a medium-scale dataset with
more than 2k identities and training purely on it would lead to overfitting. To
this end, we take advantage of a face recognition network pretrained on a
large-scale 2D image dataset, which provides distinct features for different
faces and is robust to expression, illumination, and camera changes. Using
these features, we train our face shape estimator in a supervised fashion,
inheriting the robustness and generalization of the face recognition network.
Our method, which we call MICA (MetrIC fAce), outperforms the state-of-the-art
reconstruction methods by a large margin, both on current non-metric benchmarks
as well as on our metric benchmarks (15% and 24% lower average error on NoW,
respectively).
- Abstract（参考訳）: 顔の再構築と追跡は、AR/VR、人間と機械の相互作用、および医療応用における多くの応用の構成要素である。
これらの応用のほとんどは、特に再構成された対象がメートル法的な文脈(すなわち既知の大きさの参照対象が存在する場合)に置かれたときに、メートル法的に正しい形状の予測に依存する。
被写体の距離や寸法を測定するアプリケーション(例えば、メガネフレームに事実上適合する)にはメートル法的な再構成も必要である。
1枚の画像から顔の復元を行う最先端の手法は、大規模な2次元画像データセットを自己監督的にトレーニングする。
しかし、視点投影の性質のため、実際の顔次元を再構築することができず、平均的な人間の顔の予測でさえ、計量的な意味でこれらの手法よりも優れる。
顔の実際の形状を学習するために,教師付きトレーニング手法を提案する。
このタスクには大規模な3Dデータセットが存在しないため、我々は注釈付きで、小・中規模のデータベースを統一した。
結果として得られた統一データセットは、2k以上のidを持つ中規模データセットであり、トレーニングは純粋に過剰フィッティングにつながる。
この目的のために,大規模2d画像データセットに事前学習した顔認識ネットワークを活用し,表情,照明,カメラ変更に頑健な顔特徴を提供する。
これらの特徴を用いて、顔形状推定器を教師付きで訓練し、顔認識ネットワークの堅牢性と一般化を継承する。
MICA (MetrIC fAce) と呼ばれる本手法は, 現行の非メトリックベンチマーク, および基準ベンチマーク(それぞれ NoW の平均誤差を15%, 24%) において, 最先端の復元手法よりも高い性能を示した。
関連論文リスト
- DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。
ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。
標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-06-26T00:08:29Z) - GS-Pose: Category-Level Object Pose Estimation via Geometric and
Semantic Correspondence [5.500735640045456]
カテゴリーレベルのポーズ推定は、コンピュータビジョンやロボット工学における多くの潜在的な応用において難しい課題である。
本稿では,事前学習した基礎モデルから得られる幾何学的特徴と意味的特徴の両方を活用することを提案する。
これは、セマンティックな特徴がオブジェクトのテクスチャや外観に対して堅牢であるため、以前のメソッドよりもトレーニングするデータを大幅に少なくする。
論文 参考訳（メタデータ） (2023-11-23T02:35:38Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳（メタデータ） (2023-03-24T04:22:41Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳（メタデータ） (2023-02-28T09:24:36Z) - RAFaRe: Learning Robust and Accurate Non-parametric 3D Face
Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。
大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。
本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-10T19:40:26Z) - Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。
提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。
本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
論文 参考訳（メタデータ） (2022-03-18T01:42:59Z) - Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。
各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
論文 参考訳（メタデータ） (2021-01-06T13:15:21Z) - Survey on 3D face reconstruction from uncalibrated images [3.004265855622696]
顔の正確な表現を提供するにもかかわらず、3Dの顔画像は2D画像よりも複雑である。
3次元から2次元の顔の復元問題は誤りであり、解空間を制限するためには事前の知識が必要である。
本研究では,過去10年間に提案されてきた3次元顔の再構成手法について,制御不能な条件下で撮影された2次元画像のみを使用するものに着目した。
論文 参考訳（メタデータ） (2020-11-11T12:48:11Z) - Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。
まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。
我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
論文 参考訳（メタデータ） (2020-10-09T06:11:17Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳（メタデータ） (2020-08-16T13:38:41Z) - Semi-Siamese Training for Shallow Face Learning [78.7386209619276]
セミ・シームズ・トレーニング(SST)という新しいトレーニング手法を導入する。
一対のセミ・シームズネットワークが前方伝播構造を構成し、トレーニング損失を更新ギャラリーキューで計算する。
提案手法は外部依存を伴わずに開発されており,既存の損失関数やネットワークアーキテクチャと柔軟に統合することができる。
論文 参考訳（メタデータ） (2020-07-16T15:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。