論文の概要: BioPose: Biomechanically-accurate 3D Pose Estimation from Monocular Videos
- arxiv url: http://arxiv.org/abs/2501.07800v1
- Date: Tue, 14 Jan 2025 02:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:27:36.473702
- Title: BioPose: Biomechanically-accurate 3D Pose Estimation from Monocular Videos
- Title（参考訳）: BioPose:単眼ビデオからの生体力学的精度の高い3Dポス推定
- Authors: Farnoosh Koleini, Muhammad Usama Saleem, Pu Wang, Hongfei Xue, Ahmed Helmy, Abbey Fenwick,
- Abstract要約: BioPoseは、モノクロビデオから直接、生体力学的に正確な3Dポーズを予測するための学習ベースのフレームワークである。
マルチクエリヒューマンメッシュリカバリモデル(MQ-HMR)、ニューラル・インバース・キネマティクス(NeurIK)モデル、および2Dインフォームド・ポーズ・リファインメント技術を含んでいる。
ベンチマークデータセットの実験では、BioPoseが最先端の手法を大幅に上回っていることが示されている。
- 参考スコア（独自算出の注目度）: 6.280386490530478
- License:
- Abstract: Recent advancements in 3D human pose estimation from single-camera images and videos have relied on parametric models, like SMPL. However, these models oversimplify anatomical structures, limiting their accuracy in capturing true joint locations and movements, which reduces their applicability in biomechanics, healthcare, and robotics. Biomechanically accurate pose estimation, on the other hand, typically requires costly marker-based motion capture systems and optimization techniques in specialized labs. To bridge this gap, we propose BioPose, a novel learning-based framework for predicting biomechanically accurate 3D human pose directly from monocular videos. BioPose includes three key components: a Multi-Query Human Mesh Recovery model (MQ-HMR), a Neural Inverse Kinematics (NeurIK) model, and a 2D-informed pose refinement technique. MQ-HMR leverages a multi-query deformable transformer to extract multi-scale fine-grained image features, enabling precise human mesh recovery. NeurIK treats the mesh vertices as virtual markers, applying a spatial-temporal network to regress biomechanically accurate 3D poses under anatomical constraints. To further improve 3D pose estimations, a 2D-informed refinement step optimizes the query tokens during inference by aligning the 3D structure with 2D pose observations. Experiments on benchmark datasets demonstrate that BioPose significantly outperforms state-of-the-art methods. Project website: \url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}.
- Abstract（参考訳）: シングルカメラ画像やビデオからの3次元人間のポーズ推定の最近の進歩は、SMPLのようなパラメトリックモデルに依存している。
しかし、これらのモデルは解剖学的構造を単純化し、真の関節の位置と動きを捉える精度を制限し、生体力学、医療、ロボット工学における適用性を低下させる。
一方、バイオメカニカルなポーズ推定には、高価なマーカーベースのモーションキャプチャシステムと特殊な研究室での最適化技術が必要である。
このギャップを埋めるために,単眼ビデオから直接生体力学的に正確な3Dポーズを予測する新しい学習基盤であるBioPoseを提案する。
BioPoseには、Multi-Query Human Mesh Recovery Model (MQ-HMR)、NeurIK(Neur Inverse Kinematics)モデル、2Dインフォームドポーズリファインメント技術という3つの重要なコンポーネントが含まれている。
MQ-HMRはマルチクエリ・デフォルマブル・トランスフォーマーを利用して、マルチスケールのきめ細かい画像の特徴を抽出し、正確な人間のメッシュ回復を可能にする。
NeurIKはメッシュ頂点を仮想マーカーとして扱い、解剖学的制約の下で生体力学的に正確な3Dポーズを回帰するために時空間ネットワークを適用する。
さらに3Dポーズ推定を改善するために、2Dインフォームド・リファインメントステップは、3D構造と2Dポーズ観測を整列させることで、推論中のクエリトークンを最適化する。
ベンチマークデータセットの実験では、BioPoseが最先端の手法を大幅に上回っていることが示されている。
プロジェクトウェブサイト: \url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}
関連論文リスト
- SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。
SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。
テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
論文 参考訳（メタデータ） (2024-08-19T17:53:10Z) - 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-02-20T17:33:40Z) - Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。
本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。
実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
論文 参考訳（メタデータ） (2023-09-28T06:18:38Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - EVOPOSE: A Recursive Transformer For 3D Human Pose Estimation With
Kinematic Structure Priors [72.33767389878473]
本研究では,3次元ポーズ推定を効果的に行うために,トランスフォーマーを用いたモデルEvoPoseを提案する。
構造的優先表現(Structure Priors Representation, SPR)モジュールは、人体パターンの豊富な構造的特徴として、人間の先行を表現している。
推定結果を利用して3Dポーズ出力にRecursive Refinement(RR)モジュールを印加し、同時に人間を注入する。
論文 参考訳（メタデータ） (2023-06-16T04:09:16Z) - HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body
Mesh Recovery [40.88628101598707]
本稿では,3次元キーポイント推定とボディーメッシュ回復を統合したハイブリッド逆キネマティクスソリューションHybrIKを提案する。
HybrIKは、正確な3Dジョイントを直接、ねじりとねじりの分解によって、ボディ部分の回転に変換する。
我々はさらに、HybrIK-Xという総合的な枠組みを開発し、手と表情でHybrIKを強化する。
論文 参考訳（メタデータ） (2023-04-12T08:29:31Z) - Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。
人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。
様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文 参考訳（メタデータ） (2021-05-03T17:57:07Z) - PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D
Images/Videos [47.601288796052714]
我々は2つの新しいPoseフレームワーク、すなわちSerial PC-HMRとParallel PC-HMRを開発した。
当社のフレームワークは、データ駆動学習と幾何学的モデリングの汎用的かつ補完的な統合に基づいています。
我々は一般的なベンチマーク(Human3.6M, 3DPW, SURREAL)について広範な実験を行い、PC-HMRフレームワークがSOTA結果を達成する。
論文 参考訳（メタデータ） (2021-03-16T12:12:45Z) - HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D
Human Pose and Shape Estimation [39.67289969828706]
本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。
HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。
その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
論文 参考訳（メタデータ） (2020-11-30T10:32:30Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳（メタデータ） (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。