論文の概要: 3D Face Reconstruction with the Geometric Guidance of Facial Part Segmentation

• arxiv url: http://arxiv.org/abs/2312.00311v1
• Date: Fri, 1 Dec 2023 03:05:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 15:51:32.045027
• Title: 3D Face Reconstruction with the Geometric Guidance of Facial Part Segmentation
• Title（参考訳）: 顔部セグメンテーションの幾何学的指導による3次元顔再建
• Authors: Zidu Wang, Xiangyu Zhu, Tianshuo Zhang, Baiqin Wang, Zhen Lei
• Abstract要約: 部分再投影距離損失(PRDL)は、顔部分のセグメンテーションを2Dポイントに変換する。 PRDLは、顔再構成のための点集合の分布を最適化するための幾何学記述子を確立する。
• 参考スコア（独自算出の注目度）: 30.15150714877912
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D Morphable Models (3DMMs) provide promising 3D face reconstructions in various applications. However, existing methods struggle to reconstruct faces with extreme expressions due to deficiencies in supervisory signals, such as sparse or inaccurate landmarks. Segmentation information contains effective geometric contexts for face reconstruction. Certain attempts intuitively depend on differentiable renderers to compare the rendered silhouettes of reconstruction with segmentation, which is prone to issues like local optima and gradient instability. In this paper, we fully utilize the facial part segmentation geometry by introducing Part Re-projection Distance Loss (PRDL). Specifically, PRDL transforms facial part segmentation into 2D points and re-projects the reconstruction onto the image plane. Subsequently, by introducing grid anchors and computing different statistical distances from these anchors to the point sets, PRDL establishes geometry descriptors to optimize the distribution of the point sets for face reconstruction. PRDL exhibits a clear gradient compared to the renderer-based methods and presents state-of-the-art reconstruction performance in extensive quantitative and qualitative experiments. The project will be publicly available.
• Abstract（参考訳）: 3D Morphable Models (3DMM) は様々な用途で有望な3D顔再構成を提供する。 しかし、既存の方法では、スパースや不正確なランドマークなどの監督信号の欠陥により、極端な表現で顔の再構築に苦労している。 セグメンテーション情報は、顔再構成のための効果的な幾何学的文脈を含む。 ある種の試みは、直観的に微分可能なレンダラーに依存し、レンダリングされた再構成のシルエットとセグメンテーションを比較する。 本稿では,部分再投影距離損失(PRDL)を導入し,顔部分分割形状を十分に活用する。 具体的には、PRDLは顔部分のセグメンテーションを2Dポイントに変換し、再構成を画像面に再投影する。 その後、グリッドアンカーを導入し、これらのアンカーから点集合への異なる統計距離を計算することにより、PRDLは顔再構成のための点集合の分布を最適化するための幾何学記述子を確立する。 PRDLは、レンダラー方式と比較して明確な勾配を示し、広範囲な定量的および定性的実験において最先端の再構築性能を示す。 プロジェクトは一般公開される予定だ。

関連論文リスト

• Shrinking: Reconstruction of Parameterized Surfaces from Signed Distance Fields [2.1638817206926855]
  符号付き距離場(SDF)から明示的パラメータ化曲面を再構成する新しい手法を提案する。 本手法では, パラメータ化初期球面を対象のSDF形状に適合させ, 微分可能性と表面パラメータ化を連続的に保持する。 これにより、テクスチャマッピング、幾何学処理、アニメーション、有限要素解析などの下流アプリケーションが可能になる。
  論文  参考訳（メタデータ） (2024-10-04T03:39:15Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。