論文の概要: ECON: Explicit Clothed humans Optimized via Normal integration
- arxiv url: http://arxiv.org/abs/2212.07422v2
- Date: Thu, 23 Mar 2023 14:27:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 17:40:45.144935
- Title: ECON: Explicit Clothed humans Optimized via Normal integration
- Title(参考訳): ECON: 正常な統合によって最適化された明示的な衣服人間
- Authors: Yuliang Xiu, Jinlong Yang, Xu Cao, Dimitrios Tzionas, Michael J. Black
- Abstract要約: ゆるい衣服で3D人間を作る方法であるECONについて述べる。
布を被った人の正面と後方の詳細な2Dマップを推測する。
d-BiNI曲面の間の欠測幾何を「塗装」する。
- 参考スコア(独自算出の注目度): 54.51948104460489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The combination of deep learning, artist-curated scans, and Implicit
Functions (IF), is enabling the creation of detailed, clothed, 3D humans from
images. However, existing methods are far from perfect. IF-based methods
recover free-form geometry, but produce disembodied limbs or degenerate shapes
for novel poses or clothes. To increase robustness for these cases, existing
work uses an explicit parametric body model to constrain surface
reconstruction, but this limits the recovery of free-form surfaces such as
loose clothing that deviates from the body. What we want is a method that
combines the best properties of implicit representation and explicit body
regularization. To this end, we make two key observations: (1) current networks
are better at inferring detailed 2D maps than full-3D surfaces, and (2) a
parametric model can be seen as a "canvas" for stitching together detailed
surface patches. Based on these, our method, ECON, has three main steps: (1) It
infers detailed 2D normal maps for the front and back side of a clothed person.
(2) From these, it recovers 2.5D front and back surfaces, called d-BiNI, that
are equally detailed, yet incomplete, and registers these w.r.t. each other
with the help of a SMPL-X body mesh recovered from the image. (3) It "inpaints"
the missing geometry between d-BiNI surfaces. If the face and hands are noisy,
they can optionally be replaced with the ones of SMPL-X. As a result, ECON
infers high-fidelity 3D humans even in loose clothes and challenging poses.
This goes beyond previous methods, according to the quantitative evaluation on
the CAPE and Renderpeople datasets. Perceptual studies also show that ECON's
perceived realism is better by a large margin. Code and models are available
for research purposes at econ.is.tue.mpg.de
- Abstract(参考訳): ディープラーニング、アーティストによるスキャン、Implicit Functions(IF)の組み合わせにより、画像から詳細な3D人間を作ることができる。
しかし、既存の手法は完璧とは程遠い。
IFベースの手法は自由形形状を復元するが、新しいポーズや衣服のために、不自由な手足や退化形を生成する。
これらのケースのロバスト性を高めるために、既存の研究は表面の再構成を制限するために明示的なパラメトリックボディモデルを用いているが、これは体から逸脱するゆるい衣服のような自由形表面の回復を制限する。
私たちが望むのは、暗黙の表現と明示的な身体規則化の最良の性質を組み合わせる方法です。
この目的のために,(1)現在のネットワークは,完全な3d表面よりも詳細な2dマップを推定し,(2)パラメトリックモデルは,詳細な表面パッチを縫い合わせるための「カンバス」と見なすことができる。
これらの結果から,本手法は,(1)着衣者の表裏面の詳細な2次元正規地図を推定する,という3つのステップを有する。
2) 画像から回収したsmpl-xボディメッシュを用いて, 2.5dの前面および裏面(d-bini)を均等に詳細かつ不完全に復元し, それぞれを登録する。
(3) d-BiNI曲面の間の欠測幾何を「塗装」する。
顔と手がうるさい場合は、オプションでsmpl-xのものに置き換えることができる。
結果として、ECONは、ゆるい服や挑戦的なポーズでも高忠実度3D人間を推測する。
CAPEとRenderPeopleデータセットの定量的評価によると、これはこれまでの方法を超えている。
知覚学的研究は、ECONの認識されたリアリズムが大きなマージンで優れていることも示している。
コードとモデルはecon.is.tue.mpg.deで研究目的に利用できる
関連論文リスト
- FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳(メタデータ) (2024-10-13T01:25:05Z) - RAFaRe: Learning Robust and Accurate Non-parametric 3D Face
Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。
大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。
本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-10T19:40:26Z) - ICON: Implicit Clothed humans Obtained from Normals [49.5397825300977]
入念な機能は、髪や服などの細部をキャプチャできるので、最初のタスクに適している。
ICON は、SMPL(-X) の正常に条件付けされた詳細な布-ヒトの正常を推測する。
ICONは、Wild画像から頑丈な3D服を復元する一歩を踏み出した。
論文 参考訳(メタデータ) (2021-12-16T18:59:41Z) - Detailed Avatar Recovery from Single Image [50.82102098057822]
本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。
階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。
本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
論文 参考訳(メタデータ) (2021-08-06T03:51:26Z) - Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh
Recovery from a 2D Human Pose [70.23652933572647]
本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。
我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-20T16:01:56Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳(メタデータ) (2020-07-22T13:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。