論文の概要: Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing

• arxiv url: http://arxiv.org/abs/2309.16189v1
• Date: Thu, 28 Sep 2023 06:18:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 16:03:38.567675
• Title: Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing
• Title（参考訳）: Cloth2Body:2D衣服から3D人体メッシュを生成する
• Authors: Lu Dai, Liqian Ma, Shenhan Qian, Hao Liu, Ziwei Liu, Hui Xiong
• Abstract要約: Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
• 参考スコア（独自算出の注目度）: 54.29207348918216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we define and study a new Cloth2Body problem which has a goal of generating 3D human body meshes from a 2D clothing image. Unlike the existing human mesh recovery problem, Cloth2Body needs to address new and emerging challenges raised by the partial observation of the input and the high diversity of the output. Indeed, there are three specific challenges. First, how to locate and pose human bodies into the clothes. Second, how to effectively estimate body shapes out of various clothing types. Finally, how to generate diverse and plausible results from a 2D clothing image. To this end, we propose an end-to-end framework that can accurately estimate 3D body mesh parameterized by pose and shape from a 2D clothing image. Along this line, we first utilize Kinematics-aware Pose Estimation to estimate body pose parameters. 3D skeleton is employed as a proxy followed by an inverse kinematics module to boost the estimation accuracy. We additionally design an adaptive depth trick to align the re-projected 3D mesh better with 2D clothing image by disentangling the effects of object size and camera extrinsic. Next, we propose Physics-informed Shape Estimation to estimate body shape parameters. 3D shape parameters are predicted based on partial body measurements estimated from RGB image, which not only improves pixel-wise human-cloth alignment, but also enables flexible user editing. Finally, we design Evolution-based pose generation method, a skeleton transplanting method inspired by genetic algorithms to generate diverse reasonable poses during inference. As shown by experimental results on both synthetic and real-world data, the proposed framework achieves state-of-the-art performance and can effectively recover natural and diverse 3D body meshes from 2D images that align well with clothing.
• Abstract（参考訳）: 本稿では,2次元衣料品画像から3次元人体メッシュを生成することを目的としたClos2Body問題を定義し,検討する。 既存のヒューマンメッシュリカバリ問題とは異なり、Clos2Bodyは入力の部分的な観察と出力の多様性によって生じる新たな課題に対処する必要がある。 実際、課題は3つあります。 まず、人間の体を服に当てる方法。 第二に、衣服の種類から身体の形状を効果的に推定する方法。 最後に、2D衣料品画像から多様でもっともらしい結果を生成する方法。 そこで本稿では,2次元衣料画像からポーズと形状でパラメータ化された3次元ボディメッシュを正確に推定できるエンドツーエンドフレームワークを提案する。 この線に沿って、まずKinematics-aware Pose Estimation を用いてボディポーズパラメータを推定する。 3dスケルトンはプロキシとして使われ、次いで逆キネマティクスモジュールによって推定精度が向上する。 さらに,物体サイズとカメラの遠近性の影響を分離することにより,再計画された3dメッシュを2d衣料画像に適合させるための適応的奥行きトリックを考案した。 次に,身体形状パラメータを推定する物理インフォームド形状推定法を提案する。 3次元形状パラメータは、rgb画像から推定される部分体測定に基づいて予測され、ピクセル単位での人間-クロースアライメントを改善するだけでなく、柔軟なユーザー編集を可能にする。 最後に,遺伝的アルゴリズムにインスパイアされた骨格移植法である進化型ポーズ生成法を設計し,推論中に多様な合理的ポーズを生成する。 合成, 実世界の両データの実験結果から, 提案手法は最先端の性能を実現し, 衣服とよく整合した2次元画像から, 自然, 多様な3Dボディーメッシュを効果的に回収する。

関連論文リスト

• Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video [23.93644678238666]
  ビデオから3次元の人間の動きを復元するPose and Mesh Co-Evolution Network (PMCE)を提案する。 提案したPMCEは、フレーム単位の精度と時間的一貫性の両方の観点から、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-20T16:03:21Z)
• ISP: Multi-Layered Garment Draping with Implicit Sewing Patterns [57.176642106425895]
  本稿では,現在のアプローチの限界に対処する衣服表現モデルを提案する。 これは、純粋に暗黙的な表面表現よりも高速で高品質な再構成をもたらす。 個々の2Dパネルを編集することで、衣服の形状やテクスチャを素早く編集できる。
  論文  参考訳（メタデータ） (2023-05-23T14:23:48Z)
• Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
  画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
  論文  参考訳（メタデータ） (2022-06-14T17:54:49Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
  本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。 この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。 そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T20:50:34Z)
• HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation [39.67289969828706]
  本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。 HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
  論文  参考訳（メタデータ） (2020-11-30T10:32:30Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。