論文の概要: Identity-Expression Ambiguity in 3D Morphable Face Models

• arxiv url: http://arxiv.org/abs/2109.14203v1
• Date: Wed, 29 Sep 2021 06:11:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 14:41:06.568883
• Title: Identity-Expression Ambiguity in 3D Morphable Face Models
• Title（参考訳）: 3d morphable face モデルにおける同一性表現の曖昧性
• Authors: Bernhard Egger, Skylar Sutherland, Safa C. Medin, Joshua Tenenbaum
• Abstract要約: 同一性や表現の変化の非直交性は3次元形態素モデルにおいて自己表現の曖昧さを引き起こす可能性があることを示す。 我々はこの効果を3次元形状と逆レンダリングタスクで直接示す。
• 参考スコア（独自算出の注目度）: 5.38250259923059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Morphable Models are a class of generative models commonly used to model faces. They are typically applied to ill-posed problems such as 3D reconstruction from 2D data. Several ambiguities in this problem's image formation process have been studied explicitly. We demonstrate that non-orthogonality of the variation in identity and expression can cause identity-expression ambiguity in 3D Morphable Models, and that in practice expression and identity are far from orthogonal and can explain each other surprisingly well. Whilst previously reported ambiguities only arise in an inverse rendering setting, identity-expression ambiguity emerges in the 3D shape generation process itself. We demonstrate this effect with 3D shapes directly as well as through an inverse rendering task, and use two popular models built from high quality 3D scans as well as a model built from a large collection of 2D images and videos. We explore this issue's implications for inverse rendering and observe that it cannot be resolved by a purely statistical prior on identity and expression deformations.
• Abstract（参考訳）: 3D形態モデル(3D Morphable Models)は、顔のモデル化によく用いられる生成モデルのクラスである。 典型的には、2Dデータからの3D再構成のような不適切な問題に適用される。 この問題の像形成過程におけるいくつかの曖昧さは明確に研究されている。 同一性と表現の多様性の非直交性は3d morphableモデルにおいて同一性表現の曖昧さを生じさせ、実際には表現と同一性は直交性に遠く及ばず、驚くほど相互に説明できることを示した。 以前報告された曖昧さは逆レンダリング設定でのみ発生するが、3次元形状生成プロセス自体にアイデンティティ表現の曖昧さが現れる。 この効果を逆レンダリングタスクを通じて直接3d形状を用いて実演し,高品質な3dスキャンで構築した2つの人気モデルと,大規模な2d画像とビデオから構築したモデルを用いて実演する。 我々は,この問題が逆レンダリングに与える影響を考察し,同一性や表現変形に先立って,純粋に統計学的に解決できないことを確かめる。

関連論文リスト

• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• 4D Facial Expression Diffusion Model [3.507793603897647]
  本稿では,3次元表情系列を生成するための生成フレームワークを提案する。 これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。 実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-03-29T11:50:21Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• Building 3D Generative Models from Minimal Data [3.472931603805115]
  一つの3Dテンプレート(1人1人ではなく1人1人)で顔の認識が可能であることを示す。 我々は,1つの3次元テンプレートと少数の2次元画像を用いて,3次元顔の分布の学習を可能にする,予備的な教師なし学習フレームワークにモデルを拡張した。
  論文  参考訳（メタデータ） (2022-03-04T20:10:50Z)
• Building 3D Morphable Models from a Single Scan [3.472931603805115]
  本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。 本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。 提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-11-24T23:08:14Z)
• Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
  本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
  論文  参考訳（メタデータ） (2020-10-04T20:51:23Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。