論文の概要: Synthetic Training for Accurate 3D Human Pose and Shape Estimation in the Wild

• arxiv url: http://arxiv.org/abs/2009.10013v2
• Date: Tue, 22 Sep 2020 10:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 05:17:49.984865
• Title: Synthetic Training for Accurate 3D Human Pose and Shape Estimation in the Wild
• Title（参考訳）: 正確な3次元姿勢の合成訓練と野生における形状推定
• Authors: Akash Sengupta and Ignas Budvytis and Roberto Cipolla
• Abstract要約: 本稿では,RGB画像からの単眼立体形状とポーズ推定の問題に対処する。 本研究では, シルエットや2次元関節などのプロキシ表現を形状と回帰ニューラルネットワークの入力として利用するシステムであるSTRAPSを提案する。 STRAPSは形状予測精度においてSSP-3Dの他の最先端手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 27.14060158187953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of monocular 3D human shape and pose estimation from an RGB image. Despite great progress in this field in terms of pose prediction accuracy, state-of-the-art methods often predict inaccurate body shapes. We suggest that this is primarily due to the scarcity of in-the-wild training data with diverse and accurate body shape labels. Thus, we propose STRAPS (Synthetic Training for Real Accurate Pose and Shape), a system that utilises proxy representations, such as silhouettes and 2D joints, as inputs to a shape and pose regression neural network, which is trained with synthetic training data (generated on-the-fly during training using the SMPL statistical body model) to overcome data scarcity. We bridge the gap between synthetic training inputs and noisy real inputs, which are predicted by keypoint detection and segmentation CNNs at test-time, by using data augmentation and corruption during training. In order to evaluate our approach, we curate and provide a challenging evaluation dataset for monocular human shape estimation, Sports Shape and Pose 3D (SSP-3D). It consists of RGB images of tightly-clothed sports-persons with a variety of body shapes and corresponding pseudo-ground-truth SMPL shape and pose parameters, obtained via multi-frame optimisation. We show that STRAPS outperforms other state-of-the-art methods on SSP-3D in terms of shape prediction accuracy, while remaining competitive with the state-of-the-art on pose-centric datasets and metrics.
• Abstract（参考訳）: 本稿では,RGB画像からの単眼立体形状とポーズ推定の問題に対処する。 この分野におけるポーズ予測精度の進歩にもかかわらず、最先端の手法はしばしば不正確な身体形状を予測している。 本研究は,多種多様な身体形状ラベルを用いたWildトレーニングデータの不足に起因することが示唆された。 そこで本研究では,形状やポーズ回帰ニューラルネットワークへの入力としてシルエットや2次元関節などの代理表現を利用したストラップ(実正確なポーズと形状のための合成訓練)を提案し,データ不足を克服するために合成トレーニングデータ(smpl統計体モデルを用いた訓練中にオンザフライで生成する)を用いてトレーニングを行う。 我々は,学習中のデータ拡張と劣化を利用して,キーポイント検出とセグメンテーションCNNによって予測される合成学習入力とノイズの多い実入力のギャップを橋渡しする。 提案手法を評価するため, 単分子形状推定, スポーツ形状, ポース3D (SSP-3D) のための挑戦的な評価データセットをキュレートし, 提供する。 各種の体型とそれに対応する擬似地下構造SMPL形状を持つ密着スポーツ選手のRGB画像と、多フレーム最適化により得られるポーズパラメータからなる。 STRAPSは、形状予測精度の観点からSSP-3Dの他の最先端手法よりも優れており、ポーズ中心のデータセットやメトリクスでは最先端の手法と競合する。

関連論文リスト

• Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation [32.30055363306321]
  本研究では、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一するパラダイムを提案する。 私たちの定式化は、トレーニングとテスト時間の両方で、人間の体積の任意の点を問う能力に重点を置いています。 メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを,変換することなく自然に利用することが可能です。
  論文  参考訳（メタデータ） (2024-07-10T10:44:18Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• LASOR: Learning Accurate 3D Human Pose and Shape Via Synthetic Occlusion-Aware Data and Neural Mesh Rendering [3.007707487678111]
  シルエットと2Dキーポイントデータを合成し,SMPLのポーズと形状パラメータに直接回帰するフレームワークを提案する。 ニューラル3Dメッシュを利用して、シルエットの監督をオンザフライで行えるようにすることで、形状推定の大幅な改善に寄与する。 我々は3DPWデータセットのポーズ精度では最先端であり、形状精度ではランク1法より明らかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T02:09:16Z)
• Learning Transferable Kinematic Dictionary for 3D Human Pose and Shape Reconstruction [15.586347115568973]
  ヒト関節の3次元回転の解空間を明示的に正規化するキネマティック辞書を提案する。 ニューラルネットワークのトレーニング中にシェイプアノテーションを使わずに,エンドツーエンドの3D再構築を実現する。 提案手法は、Human3.6M, MPI-INF-3DHP, LSPなどの大規模データセットの競合結果を得る。
  論文  参考訳（メタデータ） (2021-04-02T09:24:29Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。