論文の概要: End to End Face Reconstruction via Differentiable PnP

• arxiv url: http://arxiv.org/abs/2409.14249v1
• Date: Sat, 21 Sep 2024 21:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 23:26:16.388305
• Title: End to End Face Reconstruction via Differentiable PnP
• Title（参考訳）: 識別可能なPnPによる端面再構成
• Authors: Yiren Lu, Huawei Wei,
• Abstract要約: 本報告は、FortectiveV 2022 WCPA Challenge, Face Reconstruction Trackの課題報告である。 我々は,この課題を達成するために2分岐ネットワークを設計し,その役割はフェイスレコンストラクションとフェイスランドマークである。 我々の手法はMVP-Humanデータセット上で非常に競争力のある定量的結果を設計し、その挑戦で3$の賞金を獲得している。
• 参考スコア（独自算出の注目度）: 5.929921836614554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This is a challenge report of the ECCV 2022 WCPA Challenge, Face Reconstruction Track. Inside this report is a brief explanation of how we accomplish this challenge. We design a two-branch network to accomplish this task, whose roles are Face Reconstruction and Face Landmark Detection. The former outputs canonical 3D face coordinates. The latter outputs pixel coordinates, i.e. 2D mapping of 3D coordinates with head pose and perspective projection. In addition, we utilize a differentiable PnP (Perspective-n-Points) layer to finetune the outputs of the two branch. Our method achieves very competitive quantitative results on the MVP-Human dataset and wins a $3^{rd}$ prize in the challenge.
• Abstract（参考訳）: これはECCV 2022 WCPA Challenge, Face Reconstruction Trackのチャレンジレポートである。 このレポートでは、この課題をどのように達成するかを簡単に説明します。 我々はこの課題を達成するために2分岐ネットワークを設計し、その役割は顔再構成と顔ランドマーク検出である。 前者は標準的な3D顔座標を出力する。 後者は画素座標、すなわち頭部ポーズと遠近射影を持つ3次元座標の2次元マッピングを出力する。 さらに、微分可能なPnP(Perspective-n-Points)層を用いて、2つのブランチの出力を微調整する。 本手法はMVP-Humanデータセット上で非常に競争力のある定量的結果を実現し,その挑戦に対して$3^{rd} の賞金を獲得している。

関連論文リスト

• Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution [68.8204255655161]
  マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。 2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。 3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
  論文  参考訳（メタデータ） (2022-11-25T09:15:38Z)
• Perspective Reconstruction of Human Faces by Joint Mesh and Landmark Regression [89.8129467907451]
  本研究では,世界空間の3次元顔メッシュを同時に再構築し,画像平面上の2次元顔のランドマークを予測することを提案する。 予測された3Dおよび2Dランドマークに基づいて、6DF (6 Degrees Freedom)フェイスポーズを解決者により容易に推定することができる。
  論文  参考訳（メタデータ） (2022-08-15T12:32:20Z)
• Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image [48.77844225075744]
  顔がカメラに非常に近い、あるいはカメラ軸に沿って動くいくつかのシナリオでは、この手法は不正確な再構築と不安定な時間的適合に悩まされる。 深層ニューラルネットワークであるPerspNet(PerspNet)は、標準空間における3次元顔形状を同時に再構築するために提案されている。 我々は、視点投影のシナリオ下での3次元顔再構成ソリューションのトレーニングと評価を可能にするために、大規模なARKitFaceデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2022-05-09T08:49:41Z)
• Tracking People with 3D Representations [78.97070307547283]
  ビデオ中の複数の人物を追跡する新しい手法を提案する。 従来の2次元表現を用いたアプローチとは違って,3次元空間における人物の3次元表現を用いる。 これらの環境下での3次元表現は2次元表現よりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2021-11-15T16:15:21Z)
• 2nd Place Solution for IJCAI-PRICAI 2020 3D AI Challenge: 3D Object Reconstruction from A Single Image [9.31533617476093]
  我々はAtlasNetの亜種を開発し、単一の2次元画像を消費し、2次元から3次元のマッピングを通して3次元の点雲を生成する。 最終ラウンドでは,スコアが70.88ドル,シャムファー距離が36.87ドル,平均Fスコアが59.18ドルで2位となる。
  論文  参考訳（メタデータ） (2021-05-28T03:54:39Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Contact Area Detector using Cross View Projection Consistency for COVID-19 Projects [7.539495357219132]
  物体と静的表面との接触は、2つの異なる視点から物体を静的表面へ投影することで識別可能であることを示す。 この単純な方法は現実の応用に容易に適応できる。
  論文  参考訳（メタデータ） (2020-08-18T02:57:26Z)
• Deep Patch-based Human Segmentation [40.255891213735126]
  本稿では,3次元人間のセグメンテーションのためのディープパッチベースの手法を提案する。 形状記述子を2次元グリッドに埋め込み、強力な2次元コンボリューショナルニューラルネットワークに入力する。 実験により,本手法は非人間的セグメンテーションの有効性を示し,最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-11T01:51:23Z)
• Coherent Reconstruction of Multiple Humans from a Single Image [68.3319089392548]
  本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成するために学習する単一のネットワークをトレーニングすることである。
  論文  参考訳（メタデータ） (2020-06-15T17:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。