論文の概要: Accurate 3D Body Shape Regression using Metric and Semantic Attributes

• arxiv url: http://arxiv.org/abs/2206.07036v1
• Date: Tue, 14 Jun 2022 17:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 15:03:17.279128
• Title: Accurate 3D Body Shape Regression using Metric and Semantic Attributes
• Title（参考訳）: メトリックおよびセマンティック属性を用いた正確な3次元形状回帰
• Authors: Vasileios Choutas, Lea Muller, Chun-Hao P. Huang, Siyu Tang, Dimitrios Tzionas, Michael J. Black
• Abstract要約: 画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
• 参考スコア（独自算出の注目度）: 55.58629009876271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While methods that regress 3D human meshes from images have progressed rapidly, the estimated body shapes often do not capture the true human shape. This is problematic since, for many applications, accurate body shape is as important as pose. The key reason that body shape accuracy lags pose accuracy is the lack of data. While humans can label 2D joints, and these constrain 3D pose, it is not so easy to "label" 3D body shape. Since paired data with images and 3D body shape are rare, we exploit two sources of information: (1) we collect internet images of diverse "fashion" models together with a small set of anthropometric measurements; (2) we collect linguistic shape attributes for a wide range of 3D body meshes and the model images. Taken together, these datasets provide sufficient constraints to infer dense 3D shape. We exploit the anthropometric measurements and linguistic shape attributes in several novel ways to train a neural network, called SHAPY, that regresses 3D human pose and shape from an RGB image. We evaluate SHAPY on public benchmarks, but note that they either lack significant body shape variation, ground-truth shape, or clothing variation. Thus, we collect a new dataset for evaluating 3D human shape estimation, called HBW, containing photos of "Human Bodies in the Wild" for which we have ground-truth 3D body scans. On this new benchmark, SHAPY significantly outperforms state-of-the-art methods on the task of 3D body shape estimation. This is the first demonstration that 3D body shape regression from images can be trained from easy-to-obtain anthropometric measurements and linguistic shape attributes. Our model and data are available at: shapy.is.tue.mpg.de
• Abstract（参考訳）: 画像から3次元メッシュを復元する手法は急速に進歩しているが、推定された体形は真の人間の形を捉えないことが多い。 多くの応用において、正確な体型はポーズと同じくらい重要であるため、これは問題となる。 体の形状の正確さが正確さをもたらす主な理由は、データの欠如である。 人間は2Dジョイントとこれらの制約3Dポーズをラベルできるが、3Dボディの形状を「ラベル」するのは容易ではない。 画像と3dボディ形状を組み合わせることは稀であるため,(1)多様な「ファシオン」モデルのインターネット画像を,(2)多様な3dボディメッシュとモデル画像に対して言語的形状属性を収集する,という2つの情報を利用する。 これらのデータセットは、高密度な3次元形状を推測するのに十分な制約を提供する。 我々は、RGB画像から3Dのポーズと形状を復元するSHAPYと呼ばれるニューラルネットワークをトレーニングする、いくつかの新しい方法で人文計測と言語形状特性を利用する。 公衆ベンチマークでSHAPYを評価するが, 身体形状の変化, 地面形状の変化, 衣服の変動が欠如していることに注意が必要である。 そこで本研究では, 3次元人体形状推定のための新しいデータセット「hbw」を収集し, 地上3次元身体スキャンを行うための「野生の人体」の写真を含む。 このベンチマークでは、SHAPYは3次元体形状推定のタスクにおいて最先端の手法を著しく上回っている。 これは、画像から3次元の身体形状の回帰を、人文計測や言語的形状特性から訓練できる最初の例である。 私たちのモデルとデータは、shapy.is.tue.mpg.deで利用可能です。

関連論文リスト

• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Collaborative Regression of Expressive Bodies using Moderation [54.730550151409474]
  3Dの体や顔、手を推定する手法は、いまだに大きく進歩している。 単一画像から全身3Dアバターをアニマタブルに生成するPIXIEを紹介する。 トレーニング画像を男性,女性,非バイナリとしてラベル付けし,ピクシーを訓練し,新たな形状損失を伴う3次元身体形状を推定した。
  論文  参考訳（メタデータ） (2021-05-11T18:55:59Z)
• Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
  本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。 この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。 そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T20:50:34Z)
• GRAB: A Dataset of Whole-Body Human Grasping of Objects [53.00728704389501]
  人間の把握を理解するためのコンピュータの訓練には、複雑な3Dオブジェクトの形状、詳細な接触情報、ポーズと形状、時間の経過とともに3Dボディの動きを含む豊富なデータセットが必要である。 全身の3次元形状を含むGRABと呼ばれる新しいデータセットを収集し、形状と大きさの異なる51の日常的な物体と相互作用する10人の被験者のシーケンスを合成する。 これは、人間がオブジェクトをつかみ、操作する方法、全身がどのように関与し、どのように相互作用がタスクによって異なるかを理解するために、既存のデータセットをはるかに超えています。
  論文  参考訳（メタデータ） (2020-08-25T17:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。