論文の概要: SCALE: Modeling Clothed Humans with a Surface Codec of Articulated Local Elements

• arxiv url: http://arxiv.org/abs/2104.07660v1
• Date: Thu, 15 Apr 2021 17:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 14:49:10.252887
• Title: SCALE: Modeling Clothed Humans with a Surface Codec of Articulated Local Elements
• Title（参考訳）: SCALE:Articulated Local Elementsの表面コーデックによる衣服ヒトのモデリング
• Authors: Qianli Ma, Shunsuke Saito, Jinlong Yang, Siyu Tang, Michael J. Black
• Abstract要約: 衣服のモデル化と再構成は、調音性、非剛性変形、衣服の種類や地形の変化などにより困難である。 最近の研究では、ニューラルネットワークを使ってローカルな表面要素をパラメータ化している。 まず、人間の体モデルに基づいて表面要素を変形させます。 第2に,局所的な特徴から局所的な幾何学を回帰させることにより,既存の神経表面要素の制限を解消する。
• 参考スコア（独自算出の注目度）: 62.652588951757764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to model and reconstruct humans in clothing is challenging due to articulation, non-rigid deformation, and varying clothing types and topologies. To enable learning, the choice of representation is the key. Recent work uses neural networks to parameterize local surface elements. This approach captures locally coherent geometry and non-planar details, can deal with varying topology, and does not require registered training data. However, naively using such methods to model 3D clothed humans fails to capture fine-grained local deformations and generalizes poorly. To address this, we present three key innovations: First, we deform surface elements based on a human body model such that large-scale deformations caused by articulation are explicitly separated from topological changes and local clothing deformations. Second, we address the limitations of existing neural surface elements by regressing local geometry from local features, significantly improving the expressiveness. Third, we learn a pose embedding on a 2D parameterization space that encodes posed body geometry, improving generalization to unseen poses by reducing non-local spurious correlations. We demonstrate the efficacy of our surface representation by learning models of complex clothing from point clouds. The clothing can change topology and deviate from the topology of the body. Once learned, we can animate previously unseen motions, producing high-quality point clouds, from which we generate realistic images with neural rendering. We assess the importance of each technical contribution and show that our approach outperforms the state-of-the-art methods in terms of reconstruction accuracy and inference time. The code is available for research purposes at https://qianlim.github.io/SCALE .
• Abstract（参考訳）: 衣服のモデル化と再構成は、調音性、非剛性変形、衣服の種類や地形の変化などにより困難である。 学習を可能にするためには、表現の選択が鍵となる。 最近の研究では、ニューラルネットワークを使ってローカルな表面要素をパラメータ化している。 このアプローチは局所的コヒーレントな幾何学と非平面的詳細を捉え、様々なトポロジーを扱うことができ、登録されたトレーニングデータを必要としない。 しかし、このような方法で3次元の衣服をモデル化することは、きめ細かい局所的な変形を捉えることに失敗し、一般化が不十分である。 まず,表面要素を人体モデルに基づいて変形させることにより,調音による大規模変形がトポロジカルな変化や局所的な衣服変形から明示的に分離されるようにする。 第2に,局所的特徴から局所的幾何を回帰することで,既存の神経表面要素の限界に対処し,表現性を大幅に改善する。 第3に, 物体形状を符号化した2次元パラメタライズ空間上のポーズ埋め込みを学習し, 非局所的なスプリアス相関を減らし, 見えないポーズへの一般化を改善する。 点雲からの複雑な衣服のモデル学習による表面表現の有効性を実証する。 衣服はトポロジーを変え、身体のトポロジーから逸脱することができる。 一度学習すると、これまで見えない動きをアニメーション化し、高品質の点雲を生成し、そこからニューラルネットワークでリアルな画像を生成する。 それぞれの技術貢献の重要性を評価し,提案手法が再現精度と推測時間において最先端の手法より優れていることを示す。 コードは https://qianlim.github.io/SCALE で研究目的で公開されている。

関連論文リスト

• PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction [9.231326291897817]
  我々はPGAHumを紹介した。PGAHumは、高忠実でアニマタブルな人体再構成のための、事前ガイダンス付き幾何学および外観学習フレームワークである。 我々はPGAHumの3つの主要モジュールにおける3次元人体前駆体を徹底的に利用し、複雑な細部と見えないポーズのフォトリアリスティックなビュー合成による高品質な幾何再構成を実現する。
  論文  参考訳（メタデータ） (2024-04-22T04:22:30Z)
• Dynamic Point Fields [30.029872787758705]
  本稿では,明示的な点ベースグラフィックスの表現的利点と暗黙的な変形ネットワークを組み合わせた動的点場モデルを提案する。 我々は,その表現力,学習効率,および配布外小説のポーズに対する堅牢性の観点から,我々の動的点場フレームワークの利点を示す。
  論文  参考訳（メタデータ） (2023-04-05T17:52:37Z)
• Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing [49.32522765356914]
  私たちは、身体のポーズの関数として、服装の人々をアニメーションすることを学びます。 我々は、学習された変形場を非剛性効果のモデルに適用した、空間のすべての点を標準空間にマッピングすることを学ぶ。 ニューラルGIFは生の3Dスキャンに基づいてトレーニングし、詳細な複雑な表面形状と変形を再構築することができる。
  論文  参考訳（メタデータ） (2021-08-19T17:25:16Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks [54.94737477860082]
  本論文では,着る人間の生の3Dスキャンをイメージ可能なアバターに変える,エンドツーエンドのトレーニング可能なフレームワークを提案する。 SCANimateはカスタマイズされたメッシュテンプレートや表面メッシュ登録に依存しません。 本手法はポーズ認識型外観モデルに適用でき,完全にテクスチャ化されたアバターを生成できる。
  論文  参考訳（メタデータ） (2021-04-07T17:59:58Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)
• NiLBS: Neural Inverse Linear Blend Skinning [59.22647012489496]
  本稿では, 従来のスキン加工技術を用いて, ポーズによってパラメータ化されたニューラルネットワークを用いて変形を反転させる手法を提案する。 これらの変形を逆転する能力は、例えば距離関数、符号付き距離関数、占有率)の値を静止ポーズで事前計算し、文字が変形したときに効率的にクエリすることができる。
  論文  参考訳（メタデータ） (2020-04-06T20:46:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。