論文の概要: ExMR: Extremity Motion Refinement for Monocular Human Motion Capture
- arxiv url: http://arxiv.org/abs/2610.26213v1
- Date: Mon, 19 Oct 2026 11:40:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 19:02:49.701854
- Title: ExMR: Extremity Motion Refinement for Monocular Human Motion Capture
- Title(参考訳): ExMR : モノクローナルモーションキャプチャーのための極端運動補正
- Abstract要約: 最近の表現的ビデオ手法は、共有された全身表現から手話の明瞭度を推定する。
我々はこの原理をハンドモーションリファインメント(HandMR)モジュールに拡張する。
モノクロビデオから3次元体、手、足の動きを再構成するシステムであるExMRに、FtMRとHandMRを統合した。
- 参考スコア(独自算出の注目度): 27.716195049685524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detailed hand and foot articulation is important for animation and motion analysis, yet remains challenging to recover from monocular video. Recent expressive video methods infer hand articulation from shared whole-body representations. Our conference work suggests that this underexploits local evidence: the Foot Motion Refinement (FootMR) module refines ankle rotations from foot keypoints, improving reconstruction even when the initial estimator receives the same keypoints. We extend this principle to hands with the Hand Motion Refinement (HandMR) module. Because 2D finger keypoints are often missing or unreliable, HandMR combines image features of a pretrained hand reconstruction model with initial arm and hand rotations to refine elbows, wrists, and fingers. We integrate FootMR and HandMR into ExMR (Extremity Motion Refinement), a system for reconstructing 3D body, hand, and foot motion from monocular video. An initial temporal estimator predicts whole-body motion, after which both refiners revisit local evidence to predict residual joint rotations. Experiments on ARCTIC, MOYO, RICH, and MOOF show that ExMR outperforms state-of-the-art methods in hand and foot reconstruction, reducing hand per-vertex error and ankle joint angle error on MOYO by 19% and 18%, respectively, relative to the strongest competitor. Code will be made available for research purposes. Project page: https://twehrbein.github.io/exmr-website/
- Abstract(参考訳): 細かな手と足の関節はアニメーションや動作解析において重要であるが、モノクロビデオから回復することは依然として困難である。
最近の表現的ビデオ手法は、共有された全身表現から手話の明瞭度を推定する。
フートモーション・リファインメント(FootMR)モジュールは足のキーポイントから足首の回転を洗練し,初期推定器が同じキーポイントを受信した場合でも再建を改善する。
我々はこの原理をハンドモーションリファインメント(HandMR)モジュールに拡張する。
2D指のキーポイントは、しばしば欠落しているか、信頼できないため、HandMRは、トレーニング済みの手再建モデルのイメージ特徴と、初期アームとハンドローテーションを組み合わせて、肘、手首、指を洗練させる。
フットMRとハンドMRをモノクロビデオから3次元体、手、足の動きを再構成するシステムであるExMR(Extremity Motion Refinement)に統合する。
初期時間推定器は全身の動きを予測し、その後、両方の精製機は局所的な証拠を再検討し、残留する関節回転を予測する。
ARCTIC, MOYO, RICH, MOOF の実験により, ExMR は手足再建における最先端の手法より優れており, 最強の競合相手と比較して, MOYO の片手辺り誤差と足首関節角度誤差を19%, 8%低減していることがわかった。
コードは研究目的で利用可能になる。
プロジェクトページ: https://twehrbein.github.io/exmr-website/
関連論文リスト
- V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos [27.650240221560907]
V-JEPAハンド(V-JEPA Hand)は、エゴセントリッククリップから両手の動きとカメラの動きを再構成するフィードフォワードビデオモデルである。
1本のA6000ビデオで93.4 FPSの前方通過スループットを実現する。
論文 参考訳(メタデータ) (2026-10-19T17:34:49Z) - RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning [63.13832695270861]
本稿では,ビデオファウンデーションモデルに基づく手追跡モデルを提案する。
モノクラー・エゴセントリックなビデオから手ポーズとリアルな触覚情報を推定する。
ポーズ推定のために、さまざまなベンチマークデータセットで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-10-07T05:11:50Z) - The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction [36.627109956900256]
ViDiHandは、エゴセントリックなビデオから4Dの手の動きを再現するためのパイプラインだ。
予め訓練されたビデオ拡散モデルに基づいており、世界史を保存しながら手の特徴を専門とする。
ARCTIC、HOT3D、HOI4Dでは、ViDiHandは従来の方法よりも大幅に優れている。
論文 参考訳(メタデータ) (2026-06-29T13:53:00Z) - DanceHMR: Hand-Aware Whole-Body Human Mesh Recovery from Monocular Videos [13.9470655812816]
本報告では,一眼レフビデオに挑戦するための時間的コヒーレントな全身HMRフレームワークを提案する。
本モデルでは,残体-手関節融合による身体コンテキストと部分特異的手指観察を統一する。
全身および身体のみのベンチマーク実験では、手再建と身体の競争精度が向上した。
論文 参考訳(メタデータ) (2026-05-18T09:14:28Z) - Improving 3D Foot Motion Reconstruction in Markerless Monocular Human Motion Capture [27.716195049685524]
最先端の方法では、Wildのビデオから正確な3Dの人体の動きを復元することができる。
彼らはしばしば、特に足の細かい関節を捉えるのに失敗し、歩行分析やアニメーションなどの応用に欠かせない。
このギャップを既存の人間の回復モデルにより推定された足の動きを洗練させるフットモーションリファインメント法であるフットMRを用いて解決する。
論文 参考訳(メタデータ) (2026-03-10T13:48:14Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳(メタデータ) (2024-12-17T12:43:10Z) - Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。
ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。
画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
論文 参考訳(メタデータ) (2023-03-09T02:24:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。