論文の概要: Sphere Face Model:A 3D Morphable Model with Hypersphere Manifold Latent Space

• arxiv url: http://arxiv.org/abs/2112.02238v1
• Date: Sat, 4 Dec 2021 04:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 16:41:47.925678
• Title: Sphere Face Model:A 3D Morphable Model with Hypersphere Manifold Latent Space
• Title（参考訳）: 球面モデル:超球面多様体潜在空間を持つ3次元形状モデル
• Authors: Diqiong Jiang, Yiwei Jin, Fanglue Zhang, Zhe Zhu, Yun Zhang, Ruofeng Tong, Min Tang
• Abstract要約: 形状の忠実度とアイデンティティの整合性を両立できる単眼顔再構成のための新しい3DMMを提案する。 SFMのコアは3次元顔形状の再構成に使用できる基底行列である。 忠実な顔の形状を生成し、その形状は単眼の顔の復元において挑戦的な条件で一致している。
• 参考スコア（独自算出の注目度）: 14.597212159819403
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: 3D Morphable Models (3DMMs) are generative models for face shape and appearance. However, the shape parameters of traditional 3DMMs satisfy the multivariate Gaussian distribution while the identity embeddings satisfy the hypersphere distribution, and this conflict makes it challenging for face reconstruction models to preserve the faithfulness and the shape consistency simultaneously. To address this issue, we propose the Sphere Face Model(SFM), a novel 3DMM for monocular face reconstruction, which can preserve both shape fidelity and identity consistency. The core of our SFM is the basis matrix which can be used to reconstruct 3D face shapes, and the basic matrix is learned by adopting a two-stage training approach where 3D and 2D training data are used in the first and second stages, respectively. To resolve the distribution mismatch, we design a novel loss to make the shape parameters have a hyperspherical latent space. Extensive experiments show that SFM has high representation ability and shape parameter space's clustering performance. Moreover, it produces fidelity face shapes, and the shapes are consistent in challenging conditions in monocular face reconstruction.
• Abstract（参考訳）: 3D Morphable Models (3DMM) は顔の形と外観の生成モデルである。 しかし、従来の3dmmの形状パラメータは多変量ガウス分布を満たし、同一性埋め込みは超球面分布を満たしている。 この問題に対処するために,単眼顔再構成のための新しい3次元MMであるSphere Face Model(SFM)を提案する。 SFMのコアは3次元顔形状の再構成に使用できるベースマトリックスであり、第1段と第2段に3次元と2次元のトレーニングデータをそれぞれ使用する2段階のトレーニングアプローチを採用することで基礎マトリックスを学習する。 分布ミスマッチを解消するために,形状パラメータに超球面潜在空間を持たせるための新しい損失をデザインする。 広範な実験により、sfmは高い表現能力と形状パラメータ空間のクラスタリング性能を示す。 さらに, 顔形状の忠実度が向上し, モノクラー顔再構成における課題条件に整合する。

関連論文リスト

• NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
  3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。 既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。 本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T04:09:34Z)
• Learning Dense Correspondence for NeRF-Based Face Reenactment [24.072019889495966]
  本研究では,三面体を基本的なNeRF表現として採用し,顔三面体を正準三面体,恒等変形,運動の3つの構成要素に分解する新しい枠組みを提案する。 筆者らのフレームワークは,従来の3次元パラメトリックモデルを使わずに,ワンショットの多視点顔再現を実現する最初の手法である。
  論文  参考訳（メタデータ） (2023-12-16T11:31:34Z)
• Explorable Mesh Deformation Subspaces from Unstructured Generative Models [53.23510438769862]
  3次元形状の深い生成モデルは、しばしば潜在的な変動を探索するために使用できる連続的な潜伏空間を特徴付ける。 本研究では,手軽に探索可能な2次元探索空間から事前学習された生成モデルのサブ空間へのマッピングを構築することで,与えられたランドマーク形状の集合間のバリエーションを探索する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:53:57Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Disjoint Pose and Shape for 3D Face Reconstruction [4.096453902709292]
  本稿では,ポーズと形状の相違を解消し,最適化を安定かつ正確にするためのエンドツーエンドパイプラインを提案する。 提案手法は, エンドツーエンドのトポロジ的整合性を実現し, 反復的な顔ポーズ改善を可能とし, 定量的および定性的な結果の両面で顕著な改善を示した。
  論文  参考訳（メタデータ） (2023-08-26T15:18:32Z)
• Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation [47.945556996219295]
  本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。 我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
  論文  参考訳（メタデータ） (2023-06-29T17:17:57Z)
• Implicit Neural Head Synthesis via Controllable Local Deformation Fields [12.191729556779972]
  我々は,大域的変形場を局所的に分解する部分的暗黙的形状モデルを構築した。 我々の新しい定式化は、3DMMに基づくパラメータによる局所的な意味的リグ様制御を伴う複数の暗黙的変形場をモデル化する。 我々の定式化は、従来の暗黙単分子アプローチよりも、局所的に制御可能な非線形変形をよりシャープに表現する。
  論文  参考訳（メタデータ） (2023-04-21T16:35:28Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。