論文の概要: Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models
- arxiv url: http://arxiv.org/abs/2605.09258v1
- Date: Sun, 10 May 2026 02:06:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.147784
- Title: Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models
- Title（参考訳）: 逆運動学を基礎モデルとした指の単分子バイオメカニカルトラッキング
- Authors: R. James Cotton, Pouyan Firouzabadi, Wendy Murray,
- Abstract要約: 本稿では,SAM 3D Body 基礎モデルと逆運動学最適化を組み合わせた全身生体力学モデルを用いて,単視点ビデオから解剖学的に拘束された指関節角度を抽出する手法を提案する。
この研究は、単眼の生体力学的解析を詳細な指追跡に拡張し、手の動きの定量的な特徴にアクセスできるように拡張する。
- 参考スコア（独自算出の注目度）: 1.0195618602298682
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate hand and finger tracking from video has significant clinical applications for monitoring activities of daily living and measuring range of motion, yet monocular video approaches for obtaining hand biomechanics remain under-developed. We present a method that combines the SAM 3D Body foundation model with inverse kinematics optimization in a full-body biomechanical model to extract anatomically-constrained finger joint angles from single-view video. We port SAM 3D Body from PyTorch to JAX for integration with MuJoCo-MJX, enabling GPU-accelerated optimization, and develop a novel mapping between the Momentum Human Rig (MHR) outputs and biomechanical model markers. Validation against 8-camera multiview reconstruction on 4,590 frames from 7 participants performing a variety of hand poses and object manipulation tasks shows finger joint angle errors of approximately 10 degrees and hand position errors of approximately 6 mm, after Procrustes alignment. Results were consistent across camera viewpoints and robust to different methods for producing reference values from multiview video. This work extends monocular biomechanical analysis to detailed finger tracking, expanding access to quantitative characterization of hand movement from readily available video.
- Abstract（参考訳）: ビデオからの正確な手指追跡は、日常生活活動のモニタリングや運動範囲の計測に重要な臨床応用であるが、手動バイオメカニクスを得るための単眼ビデオアプローチは未開発のままである。
本稿では,SAM 3D Body 基礎モデルと逆運動学最適化を組み合わせた全身生体力学モデルを用いて,単視点ビデオから解剖学的に拘束された指関節角度を抽出する手法を提案する。
We port SAM 3D Body from PyTorch to JAX for integration with MuJoCo-MJX, allowing GPU-accelerated optimization, and developed a novel mapping between the Momentum Human Rig (MHR) outputs and biomechanical model markers。
様々な手ポーズを行う7人の被験者の4,590フレームの8カメラ・マルチビュー再構成に対する検証を行い、対象操作タスクはプロクリストアライメント後の指関節角度誤差約10度、手の位置誤差約6mmを示した。
結果はカメラの視点で一致し、マルチビュービデオから参照値を生成する様々な方法に頑健であった。
この研究は、単眼の生体力学的解析を詳細な指追跡に拡張し、手の動きの定量的な特徴にアクセスできるように拡張する。
関連論文リスト
- ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳（メタデータ） (2026-04-19T21:21:11Z) - BioPose: Biomechanically-accurate 3D Pose Estimation from Monocular Videos [6.280386490530478]
BioPoseは、モノクロビデオから直接、生体力学的に正確な3Dポーズを予測するための学習ベースのフレームワークである。
マルチクエリヒューマンメッシュリカバリモデル(MQ-HMR)、ニューラル・インバース・キネマティクス(NeurIK)モデル、および2Dインフォームド・ポーズ・リファインメント技術を含んでいる。
ベンチマークデータセットの実験では、BioPoseが最先端の手法を大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2025-01-14T02:56:19Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - Real-time, accurate, and open source upper-limb musculoskeletal analysis using a single RGBD camera [0.14999444543328289]
バイオメカニカルバイオフィードバックは、リハビリテーションを強化し、より客観的なタスク評価を提供する。
我々のオープンソースアプローチは、単一の低コストのRGBDカメラを使用して、高忠実な上肢キネマティクスのためのユーザフレンドリーなソリューションを提供します。
論文 参考訳（メタデータ） (2024-06-14T13:20:05Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-02-20T17:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。