論文の概要: ARTS: Semi-Analytical Regressor using Disentangled Skeletal Representations for Human Mesh Recovery from Videos

• arxiv url: http://arxiv.org/abs/2410.15582v1
• Date: Mon, 21 Oct 2024 02:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:35.928689
• Title: ARTS: Semi-Analytical Regressor using Disentangled Skeletal Representations for Human Mesh Recovery from Videos
• Title（参考訳）: ARTS:ビデオからの人間のメッシュ回復のための歪んだ骨格表現を用いた半解析的回帰器
• Authors: Tao Tang, Hong Liu, Yingxuan You, Ti Wang, Wenhao Li,
• Abstract要約: ARTSは、一般的なベンチマークにおけるフレーム単位の精度と時間的一貫性の両方において、既存の最先端のビデオベースの手法を超越している。 ビデオから3Dスケルトンを推定するために,スケルトン推定およびアンタングルメントモジュールを提案する。 回帰器は、Temporal Inverse Kinematics (TIK), bone-guided Shape Fitting (BSF), Motion-Centric Refinement (MCR)の3つのモジュールで構成されている。
• 参考スコア（独自算出の注目度）: 18.685856290041283
• License:
• Abstract: Although existing video-based 3D human mesh recovery methods have made significant progress, simultaneously estimating human pose and shape from low-resolution image features limits their performance. These image features lack sufficient spatial information about the human body and contain various noises (e.g., background, lighting, and clothing), which often results in inaccurate pose and inconsistent motion. Inspired by the rapid advance in human pose estimation, we discover that compared to image features, skeletons inherently contain accurate human pose and motion. Therefore, we propose a novel semiAnalytical Regressor using disenTangled Skeletal representations for human mesh recovery from videos, called ARTS. Specifically, a skeleton estimation and disentanglement module is proposed to estimate the 3D skeletons from a video and decouple them into disentangled skeletal representations (i.e., joint position, bone length, and human motion). Then, to fully utilize these representations, we introduce a semi-analytical regressor to estimate the parameters of the human mesh model. The regressor consists of three modules: Temporal Inverse Kinematics (TIK), Bone-guided Shape Fitting (BSF), and Motion-Centric Refinement (MCR). TIK utilizes joint position to estimate initial pose parameters and BSF leverages bone length to regress bone-aligned shape parameters. Finally, MCR combines human motion representation with image features to refine the initial human model parameters. Extensive experiments demonstrate that our ARTS surpasses existing state-of-the-art video-based methods in both per-frame accuracy and temporal consistency on popular benchmarks: 3DPW, MPI-INF-3DHP, and Human3.6M. Code is available at https://github.com/TangTao-PKU/ARTS.
• Abstract（参考訳）: 既存のビデオベースの3次元メッシュリカバリ手法は大きな進歩を遂げているが、低解像度画像の特徴から人間のポーズと形状を同時に推定することは、その性能を損なう。 これらの画像は、人体についての十分な空間情報がなく、様々なノイズ(例えば、背景、照明、衣服)が含まれており、しばしば不正確なポーズと矛盾した動きをもたらす。 人間のポーズ推定の急速な進歩にインスパイアされた私たちは、画像の特徴と比較して、骨格が本質的に人間のポーズや動きを正確に含んでいることを発見した。 そこで本研究では,ARTSと呼ばれるビデオから人間のメッシュを復元する手法として,ディエンタングル型骨格表現を用いた半解析的回帰器を提案する。 具体的には、ビデオから3D骨格を推定し、それらを非絡み合った骨格表現(関節の位置、骨の長さ、人間の動き)に分解するために、骨格推定と非絡み込みモジュールを提案する。 そして、これらの表現を完全に活用するために、人間のメッシュモデルのパラメータを推定する半分析回帰器を導入する。 回帰器は、Temporal Inverse Kinematics(TIK)、BSF(Body-Guided Shape Fitting)、MCR(Motion-Centric Refinement)の3つのモジュールで構成されている。 TIKは関節の位置を利用して初期ポーズパラメータを推定し、BSFは骨の長さを利用して骨に沿って形状パラメータを回帰する。 最後に、MCRは人間の動作表現と画像特徴を組み合わせることで、初期人間のモデルパラメータを洗練させる。 大規模な実験により、我々のARTSは3DPW、MPI-INF-3DHP、Human3.6Mといった一般的なベンチマークにおいて、フレーム毎の精度と時間的一貫性の両方において既存の最先端のビデオベース手法を超越していることが示された。 コードはhttps://github.com/TangTao-PKU/ARTSで入手できる。

関連論文リスト

• Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance [25.346255905155424]
  本稿では,潜伏拡散フレームワーク内での3次元人間のパラメトリックモデルを活用することで,人間の画像アニメーションの方法論を提案する。 人間の3次元パラメトリックモデルを動作誘導として表現することにより、基準画像と音源映像の動きの間に人体のパラメトリック形状アライメントを行うことができる。 提案手法は,提案した組込みデータセットに対して,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-21T18:52:58Z)
• Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video [23.93644678238666]
  ビデオから3次元の人間の動きを復元するPose and Mesh Co-Evolution Network (PMCE)を提案する。 提案したPMCEは、フレーム単位の精度と時間的一貫性の両方の観点から、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-20T16:03:21Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement [5.655207244072081]
  モノクロRGB画像からメッシュ形状の3Dポーズと形状を推定することは困難である。 そこで本研究では, 1) 閉塞・腐食3次元骨格推定による逆運動学の利点を生かした粗粒間パイプラインを提案する。 本研究では,3DPW, MuPoTS, AGORAデータセット上での最先端の手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-24T18:29:06Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)
• HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation [60.35776484235304]
  本研究は, 中間状態部分熱マップトリプレット(HEMlets)を導入し, 検出された2次元関節を三次元空間に持ち上げる不確実性に対処しようとするものである。 HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。 Convolutional Network (ConvNet) は、入力画像からHEMletを予測し、次にボリュームのジョイント・ヒートマップレグレッションを学習する。
  論文  参考訳（メタデータ） (2020-03-10T04:03:45Z)
• Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition [92.99291528676021]
  3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。 私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。 我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-02-24T15:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。