論文の概要: ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling
- arxiv url: http://arxiv.org/abs/2304.09423v3
- Date: Sun, 8 Oct 2023 09:16:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 13:37:06.012859
- Title: ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling
- Title(参考訳): ASM:高画質3次元顔モデリングのための適応スキニングモデル
- Authors: Kai Yang, Hong Shang, Tianyang Shi, Xinghan Chen, Jingkai Zhou,
Zhongqian Sun and Wei Yang
- Abstract要約: マルチビュー・アンキャリブレーション画像による再構成では,キャパシティがより高められた新しいモデルが要求される。
適応スキニングモデル (Adaptive Skinning Model, ASM) を提案する。
本研究は,パラメトリック顔モデル研究の新たな方向性を開拓し,多視点再構成の今後の研究を促進するものである。
- 参考スコア(独自算出の注目度): 11.885382595302751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The research fields of parametric face model and 3D face reconstruction have
been extensively studied. However, a critical question remains unanswered: how
to tailor the face model for specific reconstruction settings. We argue that
reconstruction with multi-view uncalibrated images demands a new model with
stronger capacity. Our study shifts attention from data-dependent 3D Morphable
Models (3DMM) to an understudied human-designed skinning model. We propose
Adaptive Skinning Model (ASM), which redefines the skinning model with more
compact and fully tunable parameters. With extensive experiments, we
demonstrate that ASM achieves significantly improved capacity than 3DMM, with
the additional advantage of model size and easy implementation for new
topology. We achieve state-of-the-art performance with ASM for multi-view
reconstruction on the Florence MICC Coop benchmark. Our quantitative analysis
demonstrates the importance of a high-capacity model for fully exploiting
abundant information from multi-view input in reconstruction. Furthermore, our
model with physical-semantic parameters can be directly utilized for real-world
applications, such as in-game avatar creation. As a result, our work opens up
new research direction for parametric face model and facilitates future
research on multi-view reconstruction.
- Abstract(参考訳): パラメトリック顔モデルと3次元顔再構成の研究分野を幅広く研究している。
しかし、重要な疑問が残る: 特定の再構成設定のために顔モデルをどう調整するか。
マルチビュー・アンキャリブレーション画像による再構成は,より強力なキャパシティを持つ新しいモデルを必要とする。
本研究では,データ依存型3次元形態モデル(3DMM)から人体設計スキンモデルへ注目を移す。
本稿では,よりコンパクトで完全に調整可能なパラメータでスキンモデルを再定義する適応スキンモデル(asm)を提案する。
大規模な実験により, ASMは3DMMよりも大幅に向上し, モデルサイズと新しいトポロジーの実装が容易になった。
フィレンツェMICCクープベンチマークにおける多視点再構成のためのASMによる最先端性能を実現する。
定量的解析により,多視点入力からの豊富な情報を十分に活用するための高容量モデルの重要性が示された。
さらに,本モデルでは,ゲーム内アバター生成などの実世界のアプリケーションに直接利用することができる。
その結果,パラメトリックフェースモデルの新たな研究方向性が開かれ,多視点再構築の今後の研究が促進される。
関連論文リスト
- A Generative Machine Learning Model for Material Microstructure 3D
Reconstruction and Performance Evaluation [4.169915659794567]
2次元から3次元への次元展開は、現在の技術的観点から非常に難しい逆問題と見なされている。
U-netのマルチスケール特性とGANの生成能力を統合する新しい生成モデルが提案されている。
さらに、画像正規化損失とワッサーシュタイン距離損失を組み合わせることにより、モデルの精度をさらに向上する。
論文 参考訳(メタデータ) (2024-02-24T13:42:34Z) - VRMM: A Volumetric Relightable Morphable Head Model [58.50243291652417]
本稿では,3次元顔モデリングに先立って,新しい容積・パラメトリック顔モデルであるVRMMを紹介する。
我々のフレームワークは、アイデンティティ、表現、照明の潜在空間を、低次元の表現に効率的に切り離し、エンコードする。
我々は,アバター生成,顔の再構成,アニメーションなどの様々な応用を通じて,VRMMの汎用性と有効性を示す。
論文 参考訳(メタデータ) (2024-02-06T15:55:46Z) - ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model
Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。
ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文 参考訳(メタデータ) (2023-08-17T19:12:13Z) - Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。
我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文 参考訳(メタデータ) (2021-08-26T17:55:11Z) - imGHUM: Implicit Generative Models of 3D Human Shape and Articulated
Pose [42.4185273307021]
人間の3次元形状とポーズの合成モデルImGHUMについて述べる。
人間の全身をゼロレベルの関数として暗黙的にモデル化し、明示的なテンプレートメッシュを使用しない。
論文 参考訳(メタデータ) (2021-08-24T17:08:28Z) - THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。
完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。
野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
論文 参考訳(メタデータ) (2021-06-17T09:09:24Z) - 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous
Image Data [77.57798334776353]
単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。
身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。
提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-11-02T13:55:31Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。