Fugu-MT 論文翻訳(概要): A lightweight 3D dense facial landmark estimation model from position map data

論文の概要: A lightweight 3D dense facial landmark estimation model from position map data

arxiv url: http://arxiv.org/abs/2308.15170v1
Date: Tue, 29 Aug 2023 09:53:10 GMT
ステータス: 処理完了
システム内更新日: 2023-08-30 14:49:21.207549
Title: A lightweight 3D dense facial landmark estimation model from position map data
Title（参考訳）: 位置マップデータを用いた軽量3次元濃密顔ランドマーク推定モデル
Authors: Shubhajit Basak, Sathish Mangapuram, Gabriel Costache, Rachel McDonnell, Michael Schukat
Abstract要約: 顔全体にわたって520個のキーポイントを含む密集キーポイントトレーニングデータセットを作成するパイプラインを提案する。生成されたデータを用いて、軽量なMobileNetベースの回帰モデルをトレーニングする。実験結果から, モデルサイズが小さく, 計算コストが最小であるにもかかわらず, トレーニングされたモデルでは, 既存の手法よりも優れていたことが示唆された。
参考スコア（独自算出の注目度）: 0.8508775813669867
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The incorporation of 3D data in facial analysis tasks has gained popularity in recent years. Though it provides a more accurate and detailed representation of the human face, accruing 3D face data is more complex and expensive than 2D face images. Either one has to rely on expensive 3D scanners or depth sensors which are prone to noise. An alternative option is the reconstruction of 3D faces from uncalibrated 2D images in an unsupervised way without any ground truth 3D data. However, such approaches are computationally expensive and the learned model size is not suitable for mobile or other edge device applications. Predicting dense 3D landmarks over the whole face can overcome this issue. As there is no public dataset available containing dense landmarks, we propose a pipeline to create a dense keypoint training dataset containing 520 key points across the whole face from an existing facial position map data. We train a lightweight MobileNet-based regressor model with the generated data. As we do not have access to any evaluation dataset with dense landmarks in it we evaluate our model against the 68 keypoint detection task. Experimental results show that our trained model outperforms many of the existing methods in spite of its lower model size and minimal computational cost. Also, the qualitative evaluation shows the efficiency of our trained models in extreme head pose angles as well as other facial variations and occlusions.
Abstract（参考訳）: 近年,顔分析タスクにおける3Dデータの取り込みが注目されている。人間の顔のより正確で詳細な表現を提供するが、3Dの顔データは2Dの顔画像よりも複雑で高価である。高価な3Dスキャナーか、ノイズに敏感な深度センサーに頼らなければならない。もう一つの選択肢は、根拠となる真実の3Dデータなしで、教師なしの方法で、未調整の2D画像から3D顔の再構築である。しかし、そのような手法は計算コストが高く、学習したモデルのサイズはモバイルや他のエッジデバイスアプリケーションには適さない。顔全体に密集した3Dランドマークを予測すれば、この問題を克服できる。密集したランドマークを含む公開データセットが存在しないため、既存の顔位置マップデータから顔全体に520個のキーポイントを含む密集したキーポイントトレーニングデータセットを作成するパイプラインを提案する。生成されたデータで軽量なmobilenetベースのregressorモデルをトレーニングする。密集したランドマークを持つ評価データセットにアクセスできないため,68個のキーポイント検出タスクに対して評価を行った。実験結果から, モデルサイズが小さく, 計算コストが最小であるにもかかわらず, 既存の手法よりも優れていた。また、定性評価は、訓練されたモデルの極端頭部ポーズ角および他の顔のバリエーションや閉塞角の効率性を示す。

関連論文リスト

CameraHMR: Aligning People with Perspective [54.05758012879385]
モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実画像が含まれている。 pGTの精度を向上させる2つの貢献をしている。
論文参考訳（メタデータ） (2024-11-12T19:12:12Z)
FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文参考訳（メタデータ） (2024-10-13T01:25:05Z)
RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2023-02-10T19:40:26Z)
Gait Recognition in the Wild with Dense 3D Representations and A Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文参考訳（メタデータ） (2022-04-06T03:54:06Z)
Learning Dense Correspondence from Synthetic Environments [27.841736037738286]
既存の方法では、実際の2D画像に手動でラベル付けされた人間のピクセルを3D表面にマッピングする。本稿では,自動生成合成データを用いた2次元3次元人物マッピングアルゴリズムの訓練により,データ不足の問題を解決することを提案する。
論文参考訳（メタデータ） (2022-03-24T08:13:26Z)
FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction [29.920622006999732]
大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。 FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
論文参考訳（メタデータ） (2021-11-01T16:48:34Z)
Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。 3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
論文参考訳（メタデータ） (2020-04-21T13:31:58Z)
Multi-Person Absolute 3D Human Pose Estimation with Weak Depth Supervision [0.0]
弱教師付きでRGB-D画像を追加してトレーニングできるネットワークを導入する。我々のアルゴリズムは、単眼で、多人、絶対的なポーズ推定器である。アルゴリズムを複数のベンチマークで評価し,一貫した誤差率の向上を示した。
論文参考訳（メタデータ） (2020-04-08T13:29:22Z)
Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文参考訳（メタデータ） (2020-04-07T20:21:18Z)
HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文参考訳（メタデータ） (2020-04-03T14:27:16Z)
FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
論文参考訳（メタデータ） (2020-03-31T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。