論文の概要: Towards Robust and Expressive Whole-body Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2312.08730v1
• Date: Thu, 14 Dec 2023 08:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:36:15.601913
• Title: Towards Robust and Expressive Whole-body Human Pose and Shape Estimation
• Title（参考訳）: 頑健で表現力に富む人体のポーズと形状推定に向けて
• Authors: Hui EnPang and Zhongang Cai and Lei Yang and Qingyi Tao and Zhonghua Wu and Tianwei Zhang and Ziwei Liu
• Abstract要約: 全体のポーズと形状の推定は、単眼画像から人体全体の異なる振る舞いを共同で予測することを目的としている。 既存の手法では、既存のシナリオの複雑さの下で、しばしば劣化したパフォーマンスを示す。 全身のポーズと形状推定の堅牢性を高める新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 51.457517178632756
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Whole-body pose and shape estimation aims to jointly predict different behaviors (e.g., pose, hand gesture, facial expression) of the entire human body from a monocular image. Existing methods often exhibit degraded performance under the complexity of in-the-wild scenarios. We argue that the accuracy and reliability of these models are significantly affected by the quality of the predicted \textit{bounding box}, e.g., the scale and alignment of body parts. The natural discrepancy between the ideal bounding box annotations and model detection results is particularly detrimental to the performance of whole-body pose and shape estimation. In this paper, we propose a novel framework to enhance the robustness of whole-body pose and shape estimation. Our framework incorporates three new modules to address the above challenges from three perspectives: \textbf{1) Localization Module} enhances the model's awareness of the subject's location and semantics within the image space. \textbf{2) Contrastive Feature Extraction Module} encourages the model to be invariant to robust augmentations by incorporating contrastive loss with dedicated positive samples. \textbf{3) Pixel Alignment Module} ensures the reprojected mesh from the predicted camera and body model parameters are accurate and pixel-aligned. We perform comprehensive experiments to demonstrate the effectiveness of our proposed framework on body, hands, face and whole-body benchmarks. Codebase is available at \url{https://github.com/robosmplx/robosmplx}.
• Abstract（参考訳）: 全体のポーズと形状推定は、単眼画像から人体のさまざまな行動(ポーズ、手振り、表情など)を共同で予測することを目的としている。 既存の手法では、既存のシナリオの複雑さの下で、しばしば劣化したパフォーマンスを示す。 これらのモデルの精度と信頼性は、予測された「textit{bounding box}」の品質、例えば、身体部分のスケールとアライメントに大きく影響していると論じる。 理想のバウンディングボックスアノテーションとモデル検出結果との自然な相違は、体全体のポーズと形状推定の性能に特に有害である。 本稿では,体全体のポーズと形状推定のロバスト性を高めるための新しい枠組みを提案する。 このフレームワークでは,上記の課題を3つの視点から解決するための3つの新しいモジュールが組み込まれている。 コントラスト的特徴抽出モジュール(Contrastive Feature extract Module)は、専用の正のサンプルに対照的な損失を組み込むことで、ロバストな拡張に不変であることを奨励する。 \textbf{3)ピクセルアライメントモジュール}は、予測されたカメラとボディモデルのパラメータから再投影されたメッシュが正確かつピクセルアライメントであることを保証する。 提案フレームワークの身体,手,顔,体全体のベンチマークにおける有効性を示すための総合的な実験を行った。 Codebase は \url{https://github.com/robosmplx/robosmplx} で入手できる。

関連論文リスト

• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• A Simple Strategy for Body Estimation from Partial-View Images [8.05538560322898]
  仮想試行と製品パーソナライズは、現代オンラインショッピングにおいてますます重要になってきており、正確な身体計測推定の必要性を強調している。 従来の研究では、RGB画像から3次元の身体形状を推定する研究が進んでいるが、画像中の人間の観察スケールは、距離と体次元の2つの未知の要因に依存するため、本質的に不明瞭である。 対象骨格を所望の位置に移動させ, スケールを正規化し, 両変数の関係を解消する, モジュラーで単純な高さ正規化法を提案する。
  論文  参考訳（メタデータ） (2024-04-14T16:55:23Z)
• A Stochastic-Geometrical Framework for Object Pose Estimation based on Mixture Models Avoiding the Correspondence Problem [0.0]
  本稿では,複数特徴点の観測に基づくオブジェクトポーズ推定のための新しい幾何学的モデリングフレームワークを提案する。 混合モデルを用いた確率論的モデリングは、正確でロバストなポーズ推定の可能性を示している。
  論文  参考訳（メタデータ） (2023-11-29T21:45:33Z)
• The Best of Both Worlds: Combining Model-based and Nonparametric Approaches for 3D Human Body Estimation [20.797162096899154]
  本稿では,グローバル画像特徴量からモデルパラメータを推定するフレームワークを提案する。 密度マップ予測モジュールは、画像証拠と身体モデルの各部分との間の密度UV対応を明確に確立する。 逆キネマティクスモジュールはキーポイント予測を洗練し、テンプレートメッシュを生成する。 紫外線塗布モジュールは、対応する特徴、予測、提案されたテンプレートに依存し、閉塞した身体形状の予測を完了させる。
  論文  参考訳（メタデータ） (2022-05-01T16:39:09Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。