論文の概要: A Sparse and Locally Coherent Morphable Face Model for Dense Semantic Correspondence Across Heterogeneous 3D Faces

• arxiv url: http://arxiv.org/abs/2006.03840v3
• Date: Thu, 24 Jun 2021 13:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 21:59:35.936054
• Title: A Sparse and Locally Coherent Morphable Face Model for Dense Semantic Correspondence Across Heterogeneous 3D Faces
• Title（参考訳）: 不均質な3次元顔間の密接なセマンティック対応のためのスパース型および局所コヒーレント型顔モデル
• Authors: Claudio Ferrari, Stefano Berretti, Pietro Pala, Alberto Del Bimbo
• Abstract要約: 我々は3DMMを利用して、生の3D顔に密接なセマンティックアノテーションを伝達する完全自動アプローチを提案する。 複雑な表情が存在する場合でも,多種多様なサンプルを効果的に一般化し,密接な対応を正確に確立できることを示す。 9000以上の完全登録スキャンから多種多様な大規模3DMMを構築することで、密度登録の精度を実証する。
• 参考スコア（独自算出の注目度）: 27.455526443665065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The 3D Morphable Model (3DMM) is a powerful statistical tool for representing 3D face shapes. To build a 3DMM, a training set of face scans in full point-to-point correspondence is required, and its modeling capabilities directly depend on the variability contained in the training data. Thus, to increase the descriptive power of the 3DMM, establishing a dense correspondence across heterogeneous scans with sufficient diversity in terms of identities, ethnicities, or expressions becomes essential. In this manuscript, we present a fully automatic approach that leverages a 3DMM to transfer its dense semantic annotation across raw 3D faces, establishing a dense correspondence between them. We propose a novel formulation to learn a set of sparse deformation components with local support on the face that, together with an original non-rigid deformation algorithm, allow the 3DMM to precisely fit unseen faces and transfer its semantic annotation. We extensively experimented our approach, showing it can effectively generalize to highly diverse samples and accurately establish a dense correspondence even in presence of complex facial expressions. The accuracy of the dense registration is demonstrated by building a heterogeneous, large-scale 3DMM from more than 9,000 fully registered scans obtained by joining three large datasets together.
• Abstract（参考訳）: 3d morphable model(3dmm)は、3d顔の形状を表す強力な統計ツールである。 3dmmを構築するには,完全なポイント・ツー・ポイント対応で顔スキャンのトレーニングセットが必要であり,そのモデリング能力は,トレーニングデータに含まれる可変性に直接依存する。 したがって、3DMMの記述力を高めるために、アイデンティティ、民族、表現の観点で十分な多様性を持つ異種スキャン間の密接な対応を確立することが不可欠である。 本稿では,3次元MMを用いて生の3次元顔に密接な意味的アノテーションを伝達し,それらの間の密接な対応性を確立する。 顔に局所的なサポートを施したスパース変形成分の集合を学習するための新しい定式化法を提案し, 元の非剛性変形アルゴリズムとともに, 3DMMが未知の顔に正確に適合し, その意味的アノテーションを伝達できるようにする。 提案手法を広範に実験し,多種多様なサンプルを効果的に一般化し,複雑な表情の存在下でも高精度に対応できることを示した。 この密度登録の精度は、3つの大きなデータセットを結合して得られる9,000以上の完全登録スキャンから、異種で大規模な3DMMを構築することで実証される。

関連論文リスト

• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
  ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。 私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
  論文  参考訳（メタデータ） (2023-07-19T10:44:44Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis [90.26556260531707]
  DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。 メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
  論文  参考訳（メタデータ） (2021-11-08T05:29:35Z)
• Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
  ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:55:08Z)
• Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
  深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。 我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。 提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-30T06:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。