論文の概要: On Self-Contact and Human Pose

• arxiv url: http://arxiv.org/abs/2104.03176v2
• Date: Thu, 8 Apr 2021 07:29:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 10:36:12.385290
• Title: On Self-Contact and Human Pose
• Title（参考訳）: 自己接触と人間行動について
• Authors: Lea M\"uller and Ahmed A. A. Osman and Siyu Tang and Chun-Hao P. Huang and Michael J. Black
• Abstract要約: 自己接触による人格推定を著しく改善する新しいデータセットと手法を開発した。 新たな自己接触トレーニングデータにより,保持されていないテストデータと既存の3DPWのようなデータセットの3次元ポーズ推定が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 50.96752167102025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People touch their face 23 times an hour, they cross their arms and legs, put their hands on their hips, etc. While many images of people contain some form of self-contact, current 3D human pose and shape (HPS) regression methods typically fail to estimate this contact. To address this, we develop new datasets and methods that significantly improve human pose estimation with self-contact. First, we create a dataset of 3D Contact Poses (3DCP) containing SMPL-X bodies fit to 3D scans as well as poses from AMASS, which we refine to ensure good contact. Second, we leverage this to create the Mimic-The-Pose (MTP) dataset of images, collected via Amazon Mechanical Turk, containing people mimicking the 3DCP poses with selfcontact. Third, we develop a novel HPS optimization method, SMPLify-XMC, that includes contact constraints and uses the known 3DCP body pose during fitting to create near ground-truth poses for MTP images. Fourth, for more image variety, we label a dataset of in-the-wild images with Discrete Self-Contact (DSC) information and use another new optimization method, SMPLify-DC, that exploits discrete contacts during pose optimization. Finally, we use our datasets during SPIN training to learn a new 3D human pose regressor, called TUCH (Towards Understanding Contact in Humans). We show that the new self-contact training data significantly improves 3D human pose estimates on withheld test data and existing datasets like 3DPW. Not only does our method improve results for self-contact poses, but it also improves accuracy for non-contact poses. The code and data are available for research purposes at https://tuch.is.tue.mpg.de.
• Abstract（参考訳）: 人々は1時間に23回顔に触れ、腕と脚を渡り、腰に手を置くなどします。 多くの人の画像には何らかの形の自己接触が含まれているが、現在の3D人間のポーズと形状(HPS)回帰法はこの接触を推定できないのが普通である。 そこで我々は,自己接触によるポーズ推定を大幅に改善する新しいデータセットと手法を開発した。 まず、3dスキャンに適合するsmpl-xボディを含む3dコンタクトポーズ(3dcp)と、amassのポーズのデータセットを作成します。 第2に、これを活用して、amazon mechanical turkによって収集された画像のmtpデータセットを作成し、自己接触で3dcpのポーズを模倣する人々を含む。 第3に,接触制約を含む新しいHPS最適化手法SMPLify-XMCを開発した。 第4に、より多様な画像に対して、離散自己接触(DSC)情報を用いた画像のデータセットをラベル付けし、ポーズ最適化中に離散接触を利用する新たな最適化手法SMPLify-DCを使用する。 最後に、SPINトレーニング中にデータセットを使用して、TUCH(Towards Understanding Contact in Humans)と呼ばれる新しい3Dヒューマンポーズ回帰器を学習します。 新たな自己接触トレーニングデータにより,保持されていないテストデータと既存の3DPWのようなデータセットの3次元ポーズ推定が大幅に向上することを示す。 本手法は, 自己接触ポーズの結果を改善するだけでなく, 非接触ポーズの精度を向上させる。 コードとデータは、https://tuch.is.tue.mpg.deで研究目的に利用できる。

関連論文リスト

• CameraHMR: Aligning People with Perspective [54.05758012879385]
  モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。 既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実画像が含まれている。 pGTの精度を向上させる2つの貢献をしている。
  論文  参考訳（メタデータ） (2024-11-12T19:12:12Z)
• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• Detecting Human-Object Contact in Images [75.35017308643471]
  人間は常にオブジェクトに接触し、タスクを動かします。 画像から身体とシーンの接触を検出する堅牢な方法はない。 我々は、画像のための人間と物体の接触のデータセットを新たに構築する。
  論文  参考訳（メタデータ） (2023-03-06T18:56:26Z)
• AdaptPose: Cross-Dataset Adaptation for 3D Human Pose Estimation by Learnable Motion Generation [24.009674750548303]
  トレーニング済みの3Dポーズ推定器を新しいデータセットでテストすると、大きなパフォーマンス低下が発生する。 本稿では、ソースデータセットから合成された3次元人間の動きを生成するエンドツーエンドフレームワークであるAdaptPoseを提案する。 提案手法は, 部分的な3Dアノテーションを用いた半教師あり学習法を16%, クロスデータセット評価において14%, 従来の半教師あり学習法よりも16%優れていた。
  論文  参考訳（メタデータ） (2021-12-22T00:27:52Z)
• Learning Realistic Human Reposing using Cyclic Self-Supervision with 3D Shape, Pose, and Appearance Consistency [55.94908688207493]
  画像品質のギャップを教師付き手法で埋める自己教師型フレームワークSPICEを提案する。 自己超越を可能にする重要な洞察は、様々な方法で人体に関する3D情報を活用することである。 SPICEはDeepFashionデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-10-11T17:48:50Z)
• AGORA: Avatars in Geography Optimized for Regression Analysis [35.22486186509372]
  AGORAは、高いリアリズムと高精度な地上真実を持つ合成データセットである。 SMPL-Xのボディモデル(顔と手)を3Dスキャンに合わせることで、参照3Dポーズと体形を作成する。 このデータセットを用いて既存の3次元ポーズ推定手法の評価を行い、ほとんどの手法が子供の画像に悪影響を及ぼすことを見出した。
  論文  参考訳（メタデータ） (2021-04-29T20:33:25Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Learning Complex 3D Human Self-Contact [33.83748199524761]
  既存の3次元再構成法は, 身体領域の自己接触に焦点を合わせない。 自己接触体表面のシグネチャを推定する自己接触予測モデルを開発した。 自己接触シグネチャ制約下での表現力に富む3次元再構成の再現性を示す。
  論文  参考訳（メタデータ） (2020-12-18T17:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。