論文の概要: Monocular Expressive Body Regression through Body-Driven Attention

• arxiv url: http://arxiv.org/abs/2008.09062v1
• Date: Thu, 20 Aug 2020 16:33:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 04:09:56.622989
• Title: Monocular Expressive Body Regression through Body-Driven Attention
• Title（参考訳）: 身体的注意を通した単眼表現性身体退縮
• Authors: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, Michael J. Black
• Abstract要約: RGB画像からSMPL-Xフォーマットで体、顔、手を回帰するExPoseを導入する。 手と顔は体よりずっと小さく 画像のピクセルはごくわずかです 身体推定が顔と手の位置を合理的に決定するのを観察する。
• 参考スコア（独自算出の注目度）: 68.63766976089842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To understand how people look, interact, or perform tasks, we need to quickly and accurately capture their 3D body, face, and hands together from an RGB image. Most existing methods focus only on parts of the body. A few recent approaches reconstruct full expressive 3D humans from images using 3D body models that include the face and hands. These methods are optimization-based and thus slow, prone to local optima, and require 2D keypoints as input. We address these limitations by introducing ExPose (EXpressive POse and Shape rEgression), which directly regresses the body, face, and hands, in SMPL-X format, from an RGB image. This is a hard problem due to the high dimensionality of the body and the lack of expressive training data. Additionally, hands and faces are much smaller than the body, occupying very few image pixels. This makes hand and face estimation hard when body images are downscaled for neural networks. We make three main contributions. First, we account for the lack of training data by curating a dataset of SMPL-X fits on in-the-wild images. Second, we observe that body estimation localizes the face and hands reasonably well. We introduce body-driven attention for face and hand regions in the original image to extract higher-resolution crops that are fed to dedicated refinement modules. Third, these modules exploit part-specific knowledge from existing face- and hand-only datasets. ExPose estimates expressive 3D humans more accurately than existing optimization methods at a small fraction of the computational cost. Our data, model and code are available for research at https://expose.is.tue.mpg.de .
• Abstract（参考訳）: 人々がどのように見えるか、対話し、タスクを実行するかを理解するためには、RGB画像から素早く正確に3Dの体、顔、手を取り出す必要があります。 既存の方法のほとんどは身体の一部のみに焦点を当てている。 最近のアプローチでは、顔と手を含む3dボディモデルを使用して、画像から完全な表現力のある3d人間を再構築する。 これらの手法は最適化ベースであり、したがって遅く、局所最適になりがちであり、入力には2Dキーポイントが必要である。 RGB画像からSMPL-X形式で、身体、顔、手を直接回帰するExPose(Expressive POse and Shape rEgression)を導入することで、これらの制限に対処する。 これは、身体の高次元化と表現力のあるトレーニングデータの欠如のため、難しい問題である。 さらに、手と顔は体よりもずっと小さく、画像ピクセルはごくわずかである。 これにより、ニューラルネットワークのためにボディイメージをダウンスケールする場合、手と顔の推定が困難になる。 主な貢献は3つです。 まず、SMPL-XのデータセットをWild画像に適合させることで、トレーニングデータの欠如を説明する。 第2に,身体推定が顔と手の位置を合理的に推定する。 原画像の顔・手領域に対する身体駆動型注意力を導入し, 専用精製モジュールに供給される高分解能作物を抽出する。 第三に、これらのモジュールは既存の顔と手のみのデータセットから部分固有の知識を利用する。 計算コストのごく一部で、既存の最適化手法よりも正確な3d人間を表現できる見積もりを公開する。 私たちのデータ、モデル、コードはhttps://expose.is.tue.mpg.deで研究できます。

関連論文リスト

• Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [22.848563931757962]
  単一のRGB画像から多人数で3Dメッシュを回収するための強力なシグルショットモデルであるMulti-HMRを提案する。 SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。 トレーニングデータに組み込むことで,特に手に対する予測がさらに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:05:13Z)
• ECON: Explicit Clothed humans Optimized via Normal integration [54.51948104460489]
  ゆるい衣服で3D人間を作る方法であるECONについて述べる。 布を被った人の正面と後方の詳細な2Dマップを推測する。 d-BiNI曲面の間の欠測幾何を「塗装」する。
  論文  参考訳（メタデータ） (2022-12-14T18:59:19Z)
• Learning Visibility for Robust Dense Human Body Estimation [78.37389398573882]
  2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。 部分的な観察に頑健な高密度な人体推定を学習する。 我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-08-23T00:01:05Z)
• Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
  画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
  論文  参考訳（メタデータ） (2022-06-14T17:54:49Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• Collaborative Regression of Expressive Bodies using Moderation [54.730550151409474]
  3Dの体や顔、手を推定する手法は、いまだに大きく進歩している。 単一画像から全身3Dアバターをアニマタブルに生成するPIXIEを紹介する。 トレーニング画像を男性,女性,非バイナリとしてラベル付けし,ピクシーを訓練し,新たな形状損失を伴う3次元身体形状を推定した。
  論文  参考訳（メタデータ） (2021-05-11T18:55:59Z)
• Real-time RGBD-based Extended Body Pose Estimation [57.61868412206493]
  3DヒトポーズのリアルタイムRGBDに基づく推定システムを提案する。 パラメトリック3次元変形可能なヒューマンメッシュモデル(SMPL-X)を表現として使用する。 身体のポーズと表情パラメータの推定子を訓練する。
  論文  参考訳（メタデータ） (2021-03-05T13:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。