論文の概要: Disjoint Pose and Shape for 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2308.13903v1
• Date: Sat, 26 Aug 2023 15:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 18:18:11.517483
• Title: Disjoint Pose and Shape for 3D Face Reconstruction
• Title（参考訳）: 3次元顔再建のための不連続なポーズと形状
• Authors: Raja Kumar, Jiahao Luo, Alex Pang, James Davis
• Abstract要約: 本稿では,ポーズと形状の相違を解消し,最適化を安定かつ正確にするためのエンドツーエンドパイプラインを提案する。 提案手法は, エンドツーエンドのトポロジ的整合性を実現し, 反復的な顔ポーズ改善を可能とし, 定量的および定性的な結果の両面で顕著な改善を示した。
• 参考スコア（独自算出の注目度）: 4.096453902709292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods for 3D face reconstruction from a few casually captured images employ deep learning based models along with a 3D Morphable Model(3DMM) as face geometry prior. Structure From Motion(SFM), followed by Multi-View Stereo (MVS), on the other hand, uses dozens of high-resolution images to reconstruct accurate 3D faces.However, it produces noisy and stretched-out results with only two views available. In this paper, taking inspiration from both these methods, we propose an end-to-end pipeline that disjointly solves for pose and shape to make the optimization stable and accurate. We use a face shape prior to estimate face pose and use stereo matching followed by a 3DMM to solve for the shape. The proposed method achieves end-to-end topological consistency, enables iterative face pose refinement procedure, and show remarkable improvement on both quantitative and qualitative results over existing state-of-the-art methods.
• Abstract（参考訳）: カジュアルにキャプチャされた数枚の画像から既存の3次元顔再構成法では、深層学習モデルと3次元形態モデル(3DMM)を顔幾何学として採用している。 structure from motion(sfm)、続いてmulti-view stereo(mvs)は、数十枚の高解像度画像を使用して正確な3d顔の再現を行うが、2つのビューしか利用できないノイズと伸縮結果を生成する。 本稿では,これら2つの手法から着想を得て,姿勢と形状を不一致に解き,最適化を安定かつ精度良く行うエンドツーエンドパイプラインを提案する。 顔のポーズを推定するために顔の形状を使用し、ステレオマッチングを行い、3DMMを用いて形状を解決する。 提案手法は, エンドツーエンドのトポロジ的整合性を実現し, 反復的な顔ポーズ改善処理を可能にし, 既存の最先端手法よりも定量的および定性的な結果に顕著な改善をもたらす。

関連論文リスト

• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)
• Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
  1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。 複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
  論文  参考訳（メタデータ） (2020-07-08T09:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。