論文の概要: Learning to Regress Bodies from Images using Differentiable Semantic Rendering

• arxiv url: http://arxiv.org/abs/2110.03480v1
• Date: Thu, 7 Oct 2021 14:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:41:14.098328
• Title: Learning to Regress Bodies from Images using Differentiable Semantic Rendering
• Title（参考訳）: 識別可能なセマンティックレンダリングを用いた画像からの身体の回帰学習
• Authors: Sai Kumar Dwivedi, Nikos Athanasiou, Muhammed Kocabas, Michael J. Black
• Abstract要約: 衣料に関する高度な意味情報を導入し,着物領域と着物のない領域を異なる方法で解析する。 我々は、新しい微分可能なセマンティックレンダリング(DSR損失)を用いてボディーレグレシタを訓練する。 我々は,3次元ポーズの精度と形状推定における衣服意味論の役割を評価するために,広範囲な質的,定量的な実験を行った。
• 参考スコア（独自算出の注目度）: 47.778034255005856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to regress 3D human body shape and pose (e.g.~SMPL parameters) from monocular images typically exploits losses on 2D keypoints, silhouettes, and/or part-segmentation when 3D training data is not available. Such losses, however, are limited because 2D keypoints do not supervise body shape and segmentations of people in clothing do not match projected minimally-clothed SMPL shapes. To exploit richer image information about clothed people, we introduce higher-level semantic information about clothing to penalize clothed and non-clothed regions of the image differently. To do so, we train a body regressor using a novel Differentiable Semantic Rendering - DSR loss. For Minimally-Clothed regions, we define the DSR-MC loss, which encourages a tight match between a rendered SMPL body and the minimally-clothed regions of the image. For clothed regions, we define the DSR-C loss to encourage the rendered SMPL body to be inside the clothing mask. To ensure end-to-end differentiable training, we learn a semantic clothing prior for SMPL vertices from thousands of clothed human scans. We perform extensive qualitative and quantitative experiments to evaluate the role of clothing semantics on the accuracy of 3D human pose and shape estimation. We outperform all previous state-of-the-art methods on 3DPW and Human3.6M and obtain on par results on MPI-INF-3DHP. Code and trained models are available for research at https://dsr.is.tue.mpg.de/.
• Abstract（参考訳）: モノクロ画像から3Dの人体形状やポーズ(例えばSMPLパラメータ)を復元する学習は、通常、3Dトレーニングデータが入手できないときに2Dのキーポイント、シルエット、または/または部分セグメンテーションの損失を利用する。 しかし、このような損失は2Dキーポイントが体の形状を監督せず、衣服の人のセグメンテーションが最小限のSMPL形状と一致しないため、制限されている。 衣服に関するより豊かな画像情報を活用するため、衣服に関するより高度な意味情報を導入し、衣服及び非衣服領域を異なる方法で罰する。 そこで我々は, DSRロスという, 微分可能なセマンティックレンダリングを用いて, 身体回帰器を訓練する。 最小被覆領域に対しては、レンダリングされたSMPL本体と画像の最小被覆領域との密一致を促進するDSR-MC損失を定義する。 布地では,DSR-C損失が定義され,レンダリングされたSMPL体が衣料マスク内に収まる。 エンド・ツー・エンドの差別化訓練を確実にするために、何千もの人間のスキャンからSMPL頂点に先立つセマンティック・ウェアを学ぶ。 衣服意味論が3次元人間のポーズと形状推定の精度に与える影響を評価するために,広範囲な質的定量的実験を行った。 我々は従来の3DPWとHuman3.6Mの手法を全て上回り、MPI-INF-3DHPで同等の結果を得た。 コードとトレーニングされたモデルはhttps://dsr.is.tue.mpg.de/で研究することができる。

関連論文リスト

• ECON: Explicit Clothed humans Optimized via Normal integration [54.51948104460489]
  ゆるい衣服で3D人間を作る方法であるECONについて述べる。 布を被った人の正面と後方の詳細な2Dマップを推測する。 d-BiNI曲面の間の欠測幾何を「塗装」する。
  論文  参考訳（メタデータ） (2022-12-14T18:59:19Z)
• Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
  画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
  論文  参考訳（メタデータ） (2022-06-14T17:54:49Z)
• SHARP: Shape-Aware Reconstruction of People in Loose Clothing [6.469298908778292]
  SHARP(Shape Aware Reconstruction of People in loose clothes)は、エンド・ツー・エンドのトレーニング可能な新しいネットワークである。 モノクロ画像から、ゆるい服を着た人間の3D形状と外観を復元する。 従来の最先端手法よりも質的かつ定量的な性能を示す。
  論文  参考訳（メタデータ） (2022-05-24T10:26:42Z)
• ICON: Implicit Clothed humans Obtained from Normals [49.5397825300977]
  入念な機能は、髪や服などの細部をキャプチャできるので、最初のタスクに適している。 ICON は、SMPL(-X) の正常に条件付けされた詳細な布-ヒトの正常を推測する。 ICONは、Wild画像から頑丈な3D服を復元する一歩を踏み出した。
  論文  参考訳（メタデータ） (2021-12-16T18:59:41Z)
• Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
  本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。 この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。 そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T20:50:34Z)
• Monocular Expressive Body Regression through Body-Driven Attention [68.63766976089842]
  RGB画像からSMPL-Xフォーマットで体、顔、手を回帰するExPoseを導入する。 手と顔は体よりずっと小さく 画像のピクセルはごくわずかです 身体推定が顔と手の位置を合理的に決定するのを観察する。
  論文  参考訳（メタデータ） (2020-08-20T16:33:47Z)
• Reposing Humans by Warping 3D Features [18.688568898013482]
  人間の画像から密集した特徴量について暗黙的に学習することを提案する。 ボリュームは畳み込みデコーダによってRGB空間にマッピングされる。 DeepFashionとiPERベンチマークの最先端結果は、密度の高い人間の表現が調査に値することを示している。
  論文  参考訳（メタデータ） (2020-06-08T19:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。