論文の概要: Egocentric Whole-Body Human Mesh Recovery with Prior-Guided Learning
- arxiv url: http://arxiv.org/abs/2605.08606v1
- Date: Sat, 09 May 2026 01:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.768999
- Title: Egocentric Whole-Body Human Mesh Recovery with Prior-Guided Learning
- Title(参考訳): Egocentric Whole-Body Human Mesh recovery with Pre-Guided Learning
- Abstract要約: 本研究では,1つの自我中心画像から全身メッシュを再構築する事前誘導学習フレームワークを提案する。
複数のエゴセントリックなベンチマークによる実験では、最先端の手法と比較して、全身の再構築が改善された。
- 参考スコア(独自算出の注目度): 4.1709348827585515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric human mesh recovery (HMR) from monocular head-mounted cameras is increasingly important for AR/VR applications, but remains challenging due to the lack of reliable ground-truth (GT) annotations based on parametric human body models such as SMPL and SMPL-X for real egocentric images. Existing egocentric HMR methods typically rely on pseudo-GT and focus on body pose estimation, which limits their ability to recover fine-grained whole-body details such as hands and face. We study egocentric whole-body human mesh recovery and propose a prior-guided learning framework that reconstructs whole-body meshes from a single egocentric image. We construct more accurate optimization-based pseudo-GT aligned with 3D joint supervision, and leverage multiple priors by adapting an exocentric HMR foundation model together with a diffusion-based pose prior. A deterministic undistortion module is further adopted to handle fisheye distortions in egocentric images. Experiments across multiple egocentric benchmarks demonstrate improved whole-body reconstruction compared to state-of-the-art methods, and show that our optimization-based pseudo-GT is substantially more accurate than existing regression-based pseudo-GT. To facilitate reproducibility, the code and dataset annotations are publicly available at https://github.com/naso06/EgoSMPLX.
- Abstract(参考訳): モノクロヘッドマウントカメラからの人間メッシュリカバリ(HMR)は、AR/VRアプリケーションではますます重要になっているが、実際の自己中心画像に対するSMPLやSMPL-Xのようなパラメトリックな人体モデルに基づく信頼性の高い地上構造(GT)アノテーションが欠如しているため、依然として困難である。
既存の自己中心型HMR法は、通常擬似GTに頼り、身体のポーズ推定に重点を置いている。
我々は,エゴセントリックな人体メッシュの回復について検討し,単一のエゴセントリックなイメージから全身メッシュを再構築する事前指導型学習フレームワークを提案する。
より正確な最適化に基づく擬似GTを3次元関節監視と整合させて構築し、拡散に基づくポーズモデルとともに、異中心HMRファンデーションモデルを適用することにより、複数の先行情報を活用する。
エゴ中心画像の魚眼歪みを処理するために、決定論的非歪モジュールがさらに採用されている。
複数のエゴセントリックベンチマークを用いて行った実験は、最先端の手法と比較して全身再構成の改善を示し、我々の最適化に基づく擬似GTは既存の回帰に基づく擬似GTよりもかなり正確であることを示した。
再現性を容易にするため、コードとデータセットのアノテーションはhttps://github.com/naso06/EgoSMPLX.comで公開されている。
関連論文リスト
- Anny-Fit: All-Age Human Mesh Recovery [24.422315218120932]
Anny-Fitは、オールエイジの3Dメッシュリカバリのためのカメラ空間最適化フレームワークである。
本手法は,成人のみのHMRパイプラインを全年齢スペクトルにゼロショット適応させることにより,成人のみのモデリングと全年齢モデリングを橋渡しする。
論文 参考訳(メタデータ) (2026-05-06T10:23:10Z) - AHAP: Reconstructing Arbitrary Humans from Arbitrary Perspectives with Geometric Priors [81.50960055126156]
任意のカメラ視点から任意の人間を再構築するためのフィードフォワードフレームワークである textbfAHAP を提案する。
私たちの中核は、人間同士の結びつき、再構築、局在化を支援するために、多視点幾何学を効果的に融合することにあります。
Human Headは、SMPL予測のためのクロスビュー機能とシーンコンテキストを融合し、ボディポーズの一貫性を強制するために、クロスビューの再投影損失によってガイドされる。
論文 参考訳(メタデータ) (2026-02-27T11:53:45Z) - VLM-Guided Group Preference Alignment for Diffusion-based Human Mesh Recovery [75.62565146049015]
我々は、予測メッシュの文脈認識品質スコアを生成するために、自己回帰付きデュアルメモリ拡張HMRクオリティエージェントを導入する。
これらのスコアは、人間の3次元運動構造、物理的実現可能性、入力画像との整合性に関するきめ細かい手がかりを蒸留する。
拡散型HMRモデルの微調整のためのグループ選好アライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-22T13:19:06Z) - UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass [83.7071371474926]
UniSHは、統合されたフィードフォワードフレームワークで、共同でメートルスケールの3Dシーンと人間の再構築を行う。
我々のフレームワークは、シーン再構築とHMRとの違いを強く橋渡しします。
本モデルは,人間中心のシーン再構築における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-01-03T16:06:27Z) - DPHMs: Diffusion Parametric Head Models for Depth-based Tracking [42.016598097736626]
拡散パラメトリックヘッドモデル(DPHM)を紹介する。
DPHMは、単分子深度配列からの堅牢な頭部再構成と追跡を可能にする生成モデルである。
本稿では,ボリュームヘッドの再構築と追跡を正規化するために,遅延拡散に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-12-02T08:34:22Z) - W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。
W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。
また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
論文 参考訳(メタデータ) (2023-11-29T09:02:07Z) - 1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023
Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction [11.551318550321938]
AssemblyHandsを使って、この課題は、単視点画像からエゴセントリックな3D手ポーズの推定に焦点を当てる。
ViTベースのバックボーンと、強力なモデルベースラインを提供する3Dキーポイント予測のためのシンプルな回帰器を採用しています。
提案手法は,テストデータセット上で12.21mmMPJPEを達成し,Egocentric 3D Hand Pose Estimation において第1位を獲得した。
論文 参考訳(メタデータ) (2023-10-07T10:25:50Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳(メタデータ) (2023-03-24T04:22:41Z) - PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular
Images [60.33197938330409]
PyMAF-Xは、モノクロ画像からパラメトリックフルボディモデルを復元するための回帰ベースのアプローチである。
PyMAFとPyMAF-Xは、メッシュイメージアライメントを効果的に改善し、新しい最先端の結果を達成する。
論文 参考訳(メタデータ) (2022-07-13T17:58:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。