論文の概要: SUPR: A Sparse Unified Part-Based Human Representation

• arxiv url: http://arxiv.org/abs/2210.13861v1
• Date: Tue, 25 Oct 2022 09:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 15:07:30.522307
• Title: SUPR: A Sparse Unified Part-Based Human Representation
• Title（参考訳）: SuPR: 疎結合な部分ベース人間表現
• Authors: Ahmed A. A. Osman, Timo Bolkart, Dimitrios Tzionas, Michael J. Black
• Abstract要約: 既存の頭と手のモデルでは、これらの部分の完全な動きを捉えることができません。 従来のボディパーツモデルは、個々のパーツに分離された3Dスキャンを使用して訓練されている。 そこで本研究では,全体モデルと特定部分モデルとを共同で学習する学習手法を提案する。
• 参考スコア（独自算出の注目度）: 61.693373050670644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Statistical 3D shape models of the head, hands, and fullbody are widely used in computer vision and graphics. Despite their wide use, we show that existing models of the head and hands fail to capture the full range of motion for these parts. Moreover, existing work largely ignores the feet, which are crucial for modeling human movement and have applications in biomechanics, animation, and the footwear industry. The problem is that previous body part models are trained using 3D scans that are isolated to the individual parts. Such data does not capture the full range of motion for such parts, e.g. the motion of head relative to the neck. Our observation is that full-body scans provide important information about the motion of the body parts. Consequently, we propose a new learning scheme that jointly trains a full-body model and specific part models using a federated dataset of full-body and body-part scans. Specifically, we train an expressive human body model called SUPR (Sparse Unified Part-Based Human Representation), where each joint strictly influences a sparse set of model vertices. The factorized representation enables separating SUPR into an entire suite of body part models. Note that the feet have received little attention and existing 3D body models have highly under-actuated feet. Using novel 4D scans of feet, we train a model with an extended kinematic tree that captures the range of motion of the toes. Additionally, feet deform due to ground contact. To model this, we include a novel non-linear deformation function that predicts foot deformation conditioned on the foot pose, shape, and ground contact. We train SUPR on an unprecedented number of scans: 1.2 million body, head, hand and foot scans. We quantitatively compare SUPR and the separated body parts and find that our suite of models generalizes better than existing models. SUPR is available at http://supr.is.tue.mpg.de
• Abstract（参考訳）: 頭、手、全身の統計的3d形状モデルはコンピュータビジョンやグラフィックスで広く使われている。 広範に使われているにもかかわらず、既存の頭と手のモデルでは、これらの部分の完全な動きを捉えることができない。 さらに、既存の作品は足を無視しており、人間の動きのモデル化に不可欠であり、バイオメカニクス、アニメーション、履物産業に応用されている。 問題は、以前のボディパートモデルが、個々のパーツに分離された3dスキャンを使用してトレーニングされることだ。 そのようなデータは、例えば首に対する頭部の動きなど、そのような部分の完全な動きを捉えていない。 我々の観察では、全身スキャンは身体部分の動きに関する重要な情報を提供する。 そこで本研究では,全身スキャンと身体スキャンの融合データセットを用いて,全身モデルと特定部分モデルを共同で学習する新しい学習手法を提案する。 具体的には,SUPR(Sparse Unified Part-Based Human Representation)と呼ばれる表現力のある人体モデルを訓練する。 因子化表現により、SUPRをボディパーツモデル全体の集合に分離することができる。 足はほとんど注意を払わず、既存の3Dボディモデルは非常に過小評価されている。 足の新規な4Dスキャンを用いて、足指の運動範囲を計測する拡張キネマティックツリーを用いてモデルを訓練する。 また、地面の接触により足が変形する。 これをモデル化するために,足のポーズ,形状,接地を条件とした足の変形を予測する非線形変形関数を新たに導入した。 私たちは、120万のボディ、頭、手、足のスキャンという、前例のない数のスキャンでsuprを訓練しています。 我々はSUPRと分離したボディパーツを定量的に比較し、既存のモデルよりも優れたモデル群が一般化されることを見出した。 SUPRはhttp://supr.is.tue.mpg.deで入手できる。

関連論文リスト

• Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [22.848563931757962]
  単一のRGB画像から多人数で3Dメッシュを回収するための強力なシグルショットモデルであるMulti-HMRを提案する。 SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。 トレーニングデータに組み込むことで,特に手に対する予測がさらに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:05:13Z)
• DANBO: Disentangled Articulated Neural Body Representations via Graph Neural Networks [12.132886846993108]
  高解像度モデルは、写真リアリスティックなアバターを可能にするが、エンドユーザーには利用できないスタジオ設定を必要とするコストがかかる。 私たちのゴールは、高価なスタジオのセットアップや表面追跡に頼ることなく、生画像から直接アバターを作ることです。 本稿では,2つの帰納バイアスを誘導する3段階の手法を提案する。
  論文  参考訳（メタデータ） (2022-05-03T17:56:46Z)
• NIMBLE: A Non-rigid Hand Model with Bones and Muscles [41.19718491215149]
  NIMBLEは、欠落鍵成分を含む新しいパラメトリックハンドモデルである。 NIMBLEは、三角形のメッシュとして20の骨、四面体メッシュとして7つの筋肉群、皮膚メッシュからなる。 NIMBLEをモデリング、レンダリング、視覚的推論タスクに適用する。
  論文  参考訳（メタデータ） (2022-02-09T15:57:21Z)
• gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
  我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。 本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-11T18:46:38Z)
• Embodied Hands: Modeling and Capturing Hands and Bodies Together [61.32931890166915]
  人間は、コミュニケーションとタスクの解決のために、手と体を一緒に移動します。 ほとんどの方法は、体と手の3Dモデリングと追跡を別々に扱う。 我々は、手と体の相互作用をモデルとして定式化し、それをフルボディの4Dシーケンスに適合させる。
  論文  参考訳（メタデータ） (2022-01-07T18:59:32Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。