論文の概要: Hierarchical Kinematic Probability Distributions for 3D Human Shape and
Pose Estimation from Images in the Wild
- arxiv url: http://arxiv.org/abs/2110.00990v1
- Date: Sun, 3 Oct 2021 11:59:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:33:20.391382
- Title: Hierarchical Kinematic Probability Distributions for 3D Human Shape and
Pose Estimation from Images in the Wild
- Title（参考訳）: 野生画像からの3次元人体形状とポーズ推定のための階層的運動確率分布
- Authors: Akash Sengupta, Ignas Budvytis, Roberto Cipolla
- Abstract要約: 本稿では,RGB画像からの3次元人体形状とポーズ推定の問題に対処する。
深層ニューラルネットワークを用いて、相対的な3次元関節回転行列上の階層行列-フィッシャー分布を推定する。
本手法は,SSP-3Dおよび3DPWデータセット上で,3次元形状の計測値を用いて,最先端技術と競合することを示す。
- 参考スコア（独自算出の注目度）: 25.647676661390282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of 3D human body shape and pose estimation
from an RGB image. This is often an ill-posed problem, since multiple plausible
3D bodies may match the visual evidence present in the input - particularly
when the subject is occluded. Thus, it is desirable to estimate a distribution
over 3D body shape and pose conditioned on the input image instead of a single
3D reconstruction. We train a deep neural network to estimate a hierarchical
matrix-Fisher distribution over relative 3D joint rotation matrices (i.e. body
pose), which exploits the human body's kinematic tree structure, as well as a
Gaussian distribution over SMPL body shape parameters. To further ensure that
the predicted shape and pose distributions match the visual evidence in the
input image, we implement a differentiable rejection sampler to impose a
reprojection loss between ground-truth 2D joint coordinates and samples from
the predicted distributions, projected onto the image plane. We show that our
method is competitive with the state-of-the-art in terms of 3D shape and pose
metrics on the SSP-3D and 3DPW datasets, while also yielding a structured
probability distribution over 3D body shape and pose, with which we can
meaningfully quantify prediction uncertainty and sample multiple plausible 3D
reconstructions to explain a given input image. Code is available at
https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman .
- Abstract（参考訳）: 本稿では,RGB画像からの3次元人体形状とポーズ推定の問題に対処する。
これはしばしば不適切な問題であり、複数のプラプティブルな3Dボディは入力に存在する視覚的証拠と一致しうる。
したがって、単一の3次元再構成ではなく、入力画像に3次元の身体形状とポーズの分布を推定することが望ましい。
深層ニューラルネットワークを用いて,人体のキネマティックな木構造を利用した相対的3次元関節回転行列(すなわち身体ポーズ)上の階層的マトリックス・フィッシュ分布と,smpl体形状パラメータ上のガウス分布を推定する。
さらに、入力画像の視覚的証拠に一致した予測形状とポーズ分布を確実にするため、画像平面上に投影された2次元接地座標と予測分布からのサンプルとの再投影損失を課すために、異種拒絶サンプルを実装した。
提案手法は,SSP-3Dおよび3DPWデータセット上での3次元形状の計測値と競合し,また,3次元形状上の構造的確率分布とポーズを出力し,予測の不確かさを有意に定量化し,複数の有意な3次元再構成をサンプリングし,与えられた入力画像を説明する。
コードはhttps://github.com/akashsengupta 1997/HierarchicalProbabilistic3DHumanで入手できる。
関連論文リスト
- Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation [32.30055363306321]
本研究では、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一するパラダイムを提案する。
私たちの定式化は、トレーニングとテスト時間の両方で、人間の体積の任意の点を問う能力に重点を置いています。
メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを,変換することなく自然に利用することが可能です。
論文 参考訳（メタデータ） (2024-07-10T10:44:18Z) - HuManiFlow: Ancestor-Conditioned Normalising Flows on SO(3) Manifolds
for Human Pose and Shape Distribution Estimation [27.14060158187953]
近年のアプローチでは、画像上に条件付き3次元ポーズと形状パラメータの確率分布が予測されている。
これらの手法が3つの重要な特性のトレードオフを示すことを示す。
我々の手法であるHuManiFlowは、同時に正確で一貫性があり多様な分布を予測する。
論文 参考訳（メタデータ） (2023-05-11T16:49:19Z) - Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis
Aggregation [64.874000550443]
ジョイントワイズ・リジェクション・ベース・マルチハイブリッド・アグリゲーション(JPMA)を用いた拡散型3次元ポス推定法を提案する。
提案したJPMAは,D3DPが生成する複数の仮説を1つの3次元ポーズにまとめて実用的に利用する。
提案手法は, 最先端の決定論的アプローチと確率論的アプローチをそれぞれ1.5%, 8.9%上回った。
論文 参考訳（メタデータ） (2023-03-21T04:00:47Z) - DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。
本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。
提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
論文 参考訳（メタデータ） (2022-09-29T17:50:40Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Probabilistic Estimation of 3D Human Shape and Pose with a Semantic
Local Parametric Model [25.647676661390282]
本稿では,RGB画像からの3次元人体形状とポーズ推定の問題に対処する。
本研究では,局所的な身体形状の分布を意味的身体計測の形で予測する手法を提案する。
本手法は,身元依存の身体形状推定精度において,現在の最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-30T13:50:45Z) - Probabilistic 3D Human Shape and Pose Estimation from Multiple
Unconstrained Images in the Wild [25.647676661390282]
人間の被写体の複数の画像のグループから、形状とポーズ推定という新しいタスクを提案します。
提案手法は,SMPL体形状上の分布を予測し,入力画像にパラメータを付与する。
複数画像入力グループに存在する付加体形状情報により, 人体形状推定の精度が向上することを示す。
論文 参考訳（メタデータ） (2021-03-19T18:32:16Z) - 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous
Image Data [77.57798334776353]
単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。
身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。
提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-11-02T13:55:31Z) - Weakly Supervised Generative Network for Multiple 3D Human Pose
Hypotheses [74.48263583706712]
単一画像からの3次元ポーズ推定は、欠落した深さのあいまいさに起因する逆問題である。
逆問題に対処するために,弱い教師付き深層生成ネットワークを提案する。
論文 参考訳（メタデータ） (2020-08-13T09:26:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。