論文の概要: SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks

• arxiv url: http://arxiv.org/abs/2104.03313v1
• Date: Wed, 7 Apr 2021 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:44:46.185265
• Title: SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks
• Title（参考訳）: SCANimate: スキン付きアバターネットワークの微妙な監視による学習
• Authors: Shunsuke Saito, Jinlong Yang, Qianli Ma, Michael J. Black
• Abstract要約: 本論文では,着る人間の生の3Dスキャンをイメージ可能なアバターに変える,エンドツーエンドのトレーニング可能なフレームワークを提案する。 SCANimateはカスタマイズされたメッシュテンプレートや表面メッシュ登録に依存しません。 本手法はポーズ認識型外観モデルに適用でき,完全にテクスチャ化されたアバターを生成できる。
• 参考スコア（独自算出の注目度）: 54.94737477860082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SCANimate, an end-to-end trainable framework that takes raw 3D scans of a clothed human and turns them into an animatable avatar. These avatars are driven by pose parameters and have realistic clothing that moves and deforms naturally. SCANimate does not rely on a customized mesh template or surface mesh registration. We observe that fitting a parametric 3D body model, like SMPL, to a clothed human scan is tractable while surface registration of the body topology to the scan is often not, because clothing can deviate significantly from the body shape. We also observe that articulated transformations are invertible, resulting in geometric cycle consistency in the posed and unposed shapes. These observations lead us to a weakly supervised learning method that aligns scans into a canonical pose by disentangling articulated deformations without template-based surface registration. Furthermore, to complete missing regions in the aligned scans while modeling pose-dependent deformations, we introduce a locally pose-aware implicit function that learns to complete and model geometry with learned pose correctives. In contrast to commonly used global pose embeddings, our local pose conditioning significantly reduces long-range spurious correlations and improves generalization to unseen poses, especially when training data is limited. Our method can be applied to pose-aware appearance modeling to generate a fully textured avatar. We demonstrate our approach on various clothing types with different amounts of training data, outperforming existing solutions and other variants in terms of fidelity and generality in every setting. The code is available at https://scanimate.is.tue.mpg.de.
• Abstract（参考訳）: SCANimateは、服を着た人間の生の3Dスキャンを行い、それらをアニマタブルなアバターに変える、エンドツーエンドのトレーニング可能なフレームワークである。 これらのアバターはポーズパラメータによって駆動され、自然に動き変形するリアルな服装を持つ。 SCANimateは、カスタマイズされたメッシュテンプレートやサーフェスメッシュ登録に依存しない。 人体スキャンにsmplのようなパラメトリック3dボディーモデルを適用することは容易であるが,ボディートポロジーの表面登録はボディー形状から著しくずれる可能性があるため,しばしばそうではない。 また, 調音変換は可逆であり, 擬似および非擬似形状における幾何的周期の整合性をもたらす。 これらの観察により,テンプレートベース表面登録を伴わずに関節変形を解消することで,スキャンを正準的なポーズに整列させる弱い教師付き学習法が得られた。 さらに, 位置依存変形をモデル化しながらアライメントスキャンの欠落領域を完備化するために, 局所的なポーズ認識型暗黙関数を導入し, 学習したポーズ補正を用いて形状をモデル化する。 一般的なグローバルポーズ埋め込みとは対照的に、我々の局所ポーズ条件付けは長距離スプリアス相関を著しく低減し、特に訓練データに制限がある場合、目に見えないポーズへの一般化を改善する。 本手法はポーズ認識型外観モデルに適用でき,完全にテクスチャ化されたアバターを生成できる。 トレーニングデータの量が異なる各種衣料品について,各設定における忠実度と汎用性の観点から,既存ソリューションや他の変種よりも優れていることを示す。 コードはhttps://scanimate.is.tue.mpg.deで入手できる。

関連論文リスト

• CloSET: Modeling Clothed Humans on Continuous Surface with Explicit Template Decomposition [36.39531876183322]
  そこで我々は,明示的な衣服関連テンプレートを分解し,それらにポーズ依存のしわを加えることを提案する。 近年の最先端のポイントベース手法におけるシームアーティファクト問題に対処するために,体表面の点特徴を学習することを提案する。 我々のアプローチは、既存の2つのデータセットと、新しく導入されたデータセットで検証され、見当たらないポーズで服の変形結果が改善された。
  論文  参考訳（メタデータ） (2023-04-06T15:50:05Z)
• Neural Point-based Shape Modeling of Humans in Challenging Clothing [75.75870953766935]
  SMPLのようなパラメトリックな3Dボディモデルは、最小限の衣服だけを表現し、衣服に拡張するのは難しい。 我々は、正準化を学習されたポーズ非依存の「粗い形状」に置き換える粗い段階で点ベースの手法を拡張する。 このアプローチは、身体に適合し、脱落する衣服に対してうまく機能する。
  論文  参考訳（メタデータ） (2022-09-14T17:59:17Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• The Power of Points for Modeling Humans in Clothing [60.00557674969284]
  現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。 3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。 我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:45Z)
• Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing [49.32522765356914]
  私たちは、身体のポーズの関数として、服装の人々をアニメーションすることを学びます。 我々は、学習された変形場を非剛性効果のモデルに適用した、空間のすべての点を標準空間にマッピングすることを学ぶ。 ニューラルGIFは生の3Dスキャンに基づいてトレーニングし、詳細な複雑な表面形状と変形を再構築することができる。
  論文  参考訳（メタデータ） (2021-08-19T17:25:16Z)
• Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
  本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。 この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。 そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T20:50:34Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。