論文の概要: Collaborative Regression of Expressive Bodies using Moderation

• arxiv url: http://arxiv.org/abs/2105.05301v1
• Date: Tue, 11 May 2021 18:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:26:17.937185
• Title: Collaborative Regression of Expressive Bodies using Moderation
• Title（参考訳）: モデレーションを用いた表現体の協調回帰
• Authors: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, Michael J. Black
• Abstract要約: 3Dの体や顔、手を推定する手法は、いまだに大きく進歩している。 単一画像から全身3Dアバターをアニマタブルに生成するPIXIEを紹介する。 トレーニング画像を男性,女性,非バイナリとしてラベル付けし,ピクシーを訓練し,新たな形状損失を伴う3次元身体形状を推定した。
• 参考スコア（独自算出の注目度）: 54.730550151409474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering expressive humans from images is essential for understanding human behavior. Methods that estimate 3D bodies, faces, or hands have progressed significantly, yet separately. Face methods recover accurate 3D shape and geometric details, but need a tight crop and struggle with extreme views and low resolution. Whole-body methods are robust to a wide range of poses and resolutions, but provide only a rough 3D face shape without details like wrinkles. To get the best of both worlds, we introduce PIXIE, which produces animatable, whole-body 3D avatars from a single image, with realistic facial detail. To get accurate whole bodies, PIXIE uses two key observations. First, body parts are correlated, but existing work combines independent estimates from body, face, and hand experts, by trusting them equally. PIXIE introduces a novel moderator that merges the features of the experts, weighted by their confidence. Uniquely, part experts can contribute to the whole, using SMPL-X's shared shape space across all body parts. Second, human shape is highly correlated with gender, but existing work ignores this. We label training images as male, female, or non-binary, and train PIXIE to infer "gendered" 3D body shapes with a novel shape loss. In addition to 3D body pose and shape parameters, PIXIE estimates expression, illumination, albedo and 3D surface displacements for the face. Quantitative and qualitative evaluation shows that PIXIE estimates 3D humans with a more accurate whole-body shape and detailed face shape than the state of the art. Our models and code are available for research at https://pixie.is.tue.mpg.de.
• Abstract（参考訳）: 画像から表現力のある人間を復元することは人間の行動を理解するのに不可欠である。 3Dの体や顔、手を推定する手法は、いまだに大きく進歩している。 顔の手法は正確な3d形状と幾何学的詳細を復元するが、厳密な収穫と極端な視点と解像度の低さに苦しむ必要がある。 全身のメソッドは、さまざまなポーズや解像度に頑丈だが、しわのような詳細がなくても、粗い3d顔形しか提供しない。 両世界を最大限に活用するために,単一の画像からアニマタブルで全身の3Dアバターを、現実的な顔のディテールで生成するPIXIEを導入する。 ピクシーは2つの重要な観測結果を用いている。 まず、身体の一部が関連づけられるが、既存の作業では、身体、顔、手の専門家からの独立した見積もりを等しく信頼することで組み合わせる。 PIXIEは、専門家の特徴を融合させる新しいモデレーターを導入した。 SMPL-Xの共有形状空間を全部位にわたって使用することにより、部分の専門家が全体の貢献をすることができる。 第二に、人間の形は性別と非常に相関するが、既存の研究はこれを無視している。 トレーニング画像を男性,女性,非バイナリとしてラベル付けし,ピクシーを訓練し,新たな形状損失を伴う3次元身体形状を推定した。 3Dボディポーズと形状パラメータに加えて、PIXIEは顔の表情、照明、アルベド、および3D表面変位を推定する。 定量的・質的評価により、ピクシーは3dの人間を、芸術の状況よりも正確な全身形状と詳細な顔形状で見積もっている。 私たちのモデルとコードは、https://pixie.is.tue.mpg.deで研究できます。

関連論文リスト

• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• ECON: Explicit Clothed humans Optimized via Normal integration [54.51948104460489]
  ゆるい衣服で3D人間を作る方法であるECONについて述べる。 布を被った人の正面と後方の詳細な2Dマップを推測する。 d-BiNI曲面の間の欠測幾何を「塗装」する。
  論文  参考訳（メタデータ） (2022-12-14T18:59:19Z)
• Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
  画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
  論文  参考訳（メタデータ） (2022-06-14T17:54:49Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Monocular Expressive Body Regression through Body-Driven Attention [68.63766976089842]
  RGB画像からSMPL-Xフォーマットで体、顔、手を回帰するExPoseを導入する。 手と顔は体よりずっと小さく 画像のピクセルはごくわずかです 身体推定が顔と手の位置を合理的に決定するのを観察する。
  論文  参考訳（メタデータ） (2020-08-20T16:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。