論文の概要: HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2003.04894v3
• Date: Tue, 12 Jan 2021 07:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 21:19:48.068413
• Title: HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation
• Title（参考訳）: hemlets posh: 3次元ポーズと形状推定のための部分中心ヒートマップ三重項学習
• Authors: Kun Zhou, Xiaoguang Han, Nianjuan Jiang, Kui Jia, Jiangbo Lu
• Abstract要約: 本研究は, 中間状態部分熱マップトリプレット(HEMlets)を導入し, 検出された2次元関節を三次元空間に持ち上げる不確実性に対処しようとするものである。 HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。 Convolutional Network (ConvNet) は、入力画像からHEMletを予測し、次にボリュームのジョイント・ヒートマップレグレッションを学習する。
• 参考スコア（独自算出の注目度）: 60.35776484235304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating 3D human pose from a single image is a challenging task. This work attempts to address the uncertainty of lifting the detected 2D joints to the 3D space by introducing an intermediate state-Part-Centric Heatmap Triplets (HEMlets), which shortens the gap between the 2D observation and the 3D interpretation. The HEMlets utilize three joint-heatmaps to represent the relative depth information of the end-joints for each skeletal body part. In our approach, a Convolutional Network (ConvNet) is first trained to predict HEMlets from the input image, followed by a volumetric joint-heatmap regression. We leverage on the integral operation to extract the joint locations from the volumetric heatmaps, guaranteeing end-to-end learning. Despite the simplicity of the network design, the quantitative comparisons show a significant performance improvement over the best-of-grade methods (e.g. $20\%$ on Human3.6M). The proposed method naturally supports training with "in-the-wild" images, where only weakly-annotated relative depth information of skeletal joints is available. This further improves the generalization ability of our model, as validated by qualitative comparisons on outdoor images. Leveraging the strength of the HEMlets pose estimation, we further design and append a shallow yet effective network module to regress the SMPL parameters of the body pose and shape. We term the entire HEMlets-based human pose and shape recovery pipeline HEMlets PoSh. Extensive quantitative and qualitative experiments on the existing human body recovery benchmarks justify the state-of-the-art results obtained with our HEMlets PoSh approach.
• Abstract（参考訳）: 一つの画像から3Dのポーズを推定するのは難しい作業だ。 本研究は,2次元観察と3次元解釈のギャップを短くする中間状態部分熱マップトリプレット(HEMlets)を導入することで,検出された2次元関節を3次元空間に持ち上げる不確実性に対処しようとするものである。 HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。 提案手法では,まず入力画像からHEMletを予測するために畳み込みネットワーク(ConvNet)を訓練し,その後にボリューム結合熱マップの回帰を行う。 積分演算を利用して体積熱マップから関節の位置を抽出し、エンドツーエンドの学習を保証する。 ネットワーク設計の単純さにも拘わらず、定量的比較は最高の方法(例えばHuman3.6Mの$20\%)よりも大幅に性能が向上したことを示している。 提案手法は,骨格関節の弱いアノテートした相対深度情報しか得られない "in-the-wild" 画像による訓練を自然に支援する。 これにより,屋外画像の質的比較により,モデルの一般化能力が向上する。 ヘムレットの姿勢推定の強みを活かし,さらに浅く効果的なネットワークモジュールを設計・付加し,身体の姿勢や形状のsmplパラメータを緩和する。 HEMletsベースのヒューマンポーズと形状回復パイプラインHEMlets PoShを総称する。 HEMlets PoShアプローチで得られた最先端の成果を,既存の人体回収ベンチマークの大規模定量および定性的実験により正当化した。

関連論文リスト

• ARTS: Semi-Analytical Regressor using Disentangled Skeletal Representations for Human Mesh Recovery from Videos [18.685856290041283]
  ARTSは、一般的なベンチマークにおけるフレーム単位の精度と時間的一貫性の両方において、既存の最先端のビデオベースの手法を超越している。 ビデオから3Dスケルトンを推定するために,スケルトン推定およびアンタングルメントモジュールを提案する。 回帰器は、Temporal Inverse Kinematics (TIK), bone-guided Shape Fitting (BSF), Motion-Centric Refinement (MCR)の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2024-10-21T02:06:43Z)
• Learnable human mesh triangulation for 3D human pose and shape estimation [6.699132260402631]
  関節回転と形状推定の精度は, マルチビュー画像からスキン付き多対人線形モデル(SMPL)に基づくヒューマンメッシュ再構成において, 比較的注目されていない。 本稿では,関節回転・形状再構成の曖昧さとネットワーク学習の困難さを解消する2段階の手法を提案する。 提案手法は, 接合部の回転および形状推定において従来よりも有意に優れており, 接合位置推定では競争性能が向上する。
  論文  参考訳（メタデータ） (2022-08-24T01:11:57Z)
• KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
  本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。 今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。 挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-04-27T23:01:03Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)
• Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
  本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
  論文  参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。