論文の概要: A Sparse and Locally Coherent Morphable Face Model for Dense Semantic
Correspondence Across Heterogeneous 3D Faces
- arxiv url: http://arxiv.org/abs/2006.03840v3
- Date: Thu, 24 Jun 2021 13:52:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 21:59:35.936054
- Title: A Sparse and Locally Coherent Morphable Face Model for Dense Semantic
Correspondence Across Heterogeneous 3D Faces
- Title(参考訳): 不均質な3次元顔間の密接なセマンティック対応のためのスパース型および局所コヒーレント型顔モデル
- Authors: Claudio Ferrari, Stefano Berretti, Pietro Pala, Alberto Del Bimbo
- Abstract要約: 我々は3DMMを利用して、生の3D顔に密接なセマンティックアノテーションを伝達する完全自動アプローチを提案する。
複雑な表情が存在する場合でも,多種多様なサンプルを効果的に一般化し,密接な対応を正確に確立できることを示す。
9000以上の完全登録スキャンから多種多様な大規模3DMMを構築することで、密度登録の精度を実証する。
- 参考スコア(独自算出の注目度): 27.455526443665065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The 3D Morphable Model (3DMM) is a powerful statistical tool for representing
3D face shapes. To build a 3DMM, a training set of face scans in full
point-to-point correspondence is required, and its modeling capabilities
directly depend on the variability contained in the training data. Thus, to
increase the descriptive power of the 3DMM, establishing a dense correspondence
across heterogeneous scans with sufficient diversity in terms of identities,
ethnicities, or expressions becomes essential. In this manuscript, we present a
fully automatic approach that leverages a 3DMM to transfer its dense semantic
annotation across raw 3D faces, establishing a dense correspondence between
them. We propose a novel formulation to learn a set of sparse deformation
components with local support on the face that, together with an original
non-rigid deformation algorithm, allow the 3DMM to precisely fit unseen faces
and transfer its semantic annotation. We extensively experimented our approach,
showing it can effectively generalize to highly diverse samples and accurately
establish a dense correspondence even in presence of complex facial
expressions. The accuracy of the dense registration is demonstrated by building
a heterogeneous, large-scale 3DMM from more than 9,000 fully registered scans
obtained by joining three large datasets together.
- Abstract(参考訳): 3d morphable model(3dmm)は、3d顔の形状を表す強力な統計ツールである。
3dmmを構築するには,完全なポイント・ツー・ポイント対応で顔スキャンのトレーニングセットが必要であり,そのモデリング能力は,トレーニングデータに含まれる可変性に直接依存する。
したがって、3DMMの記述力を高めるために、アイデンティティ、民族、表現の観点で十分な多様性を持つ異種スキャン間の密接な対応を確立することが不可欠である。
本稿では,3次元MMを用いて生の3次元顔に密接な意味的アノテーションを伝達し,それらの間の密接な対応性を確立する。
顔に局所的なサポートを施したスパース変形成分の集合を学習するための新しい定式化法を提案し, 元の非剛性変形アルゴリズムとともに, 3DMMが未知の顔に正確に適合し, その意味的アノテーションを伝達できるようにする。
提案手法を広範に実験し,多種多様なサンプルを効果的に一般化し,複雑な表情の存在下でも高精度に対応できることを示した。
この密度登録の精度は、3つの大きなデータセットを結合して得られる9,000以上の完全登録スキャンから、異種で大規模な3DMMを構築することで実証される。
関連論文リスト
- FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D
Scene Understanding [11.928820970545924]
本稿では,基礎モデルの視覚言語埋め込みを3次元ガウススプラッティングに組み込んだalgfull(algname)を提案する。
本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
論文 参考訳(メタデータ) (2024-01-03T20:39:02Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳(メタデータ) (2023-07-19T10:44:44Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳(メタデータ) (2023-06-29T17:17:57Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳(メタデータ) (2021-12-14T13:14:24Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳(メタデータ) (2021-11-08T05:29:35Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳(メタデータ) (2021-10-06T17:55:08Z) - Deep Hough Voting for Robust Global Registration [52.40611370293272]
6次元変換パラメータ空間におけるハフ投票を利用した実世界の3Dスキャンのペア登録のための効率的なフレームワークを提案する。
提案手法は, 3DMatch と 3DLoMatch のベンチマークにおいて, KITTI odometry データセットで同等の性能を達成しながら, 最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-09-09T14:38:06Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳(メタデータ) (2021-08-10T12:19:34Z) - Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。
我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。
提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
論文 参考訳(メタデータ) (2020-11-30T06:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。