論文の概要: Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models
- arxiv url: http://arxiv.org/abs/2605.09258v1
- Date: Sun, 10 May 2026 02:06:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.147784
- Title: Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models
- Title（参考訳）: 逆運動学を基礎モデルとした指の単分子バイオメカニカルトラッキング
- Abstract要約: 本稿では,SAM 3D Body 基礎モデルと逆運動学最適化を組み合わせた全身生体力学モデルを用いて,単視点ビデオから解剖学的に拘束された指関節角度を抽出する手法を提案する。
この研究は、単眼の生体力学的解析を詳細な指追跡に拡張し、手の動きの定量的な特徴にアクセスできるように拡張する。
- 参考スコア（独自算出の注目度）: 1.0195618602298682
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate hand and finger tracking from video has significant clinical applications for monitoring activities of daily living and measuring range of motion, yet monocular video approaches for obtaining hand biomechanics remain under-developed. We present a method that combines the SAM 3D Body foundation model with inverse kinematics optimization in a full-body biomechanical model to extract anatomically-constrained finger joint angles from single-view video. We port SAM 3D Body from PyTorch to JAX for integration with MuJoCo-MJX, enabling GPU-accelerated optimization, and develop a novel mapping between the Momentum Human Rig (MHR) outputs and biomechanical model markers. Validation against 8-camera multiview reconstruction on 4,590 frames from 7 participants performing a variety of hand poses and object manipulation tasks shows finger joint angle errors of approximately 10 degrees and hand position errors of approximately 6 mm, after Procrustes alignment. Results were consistent across camera viewpoints and robust to different methods for producing reference values from multiview video. This work extends monocular biomechanical analysis to detailed finger tracking, expanding access to quantitative characterization of hand movement from readily available video.
- Abstract（参考訳）: ビデオからの正確な手指追跡は、日常生活活動のモニタリングや運動範囲の計測に重要な臨床応用であるが、手動バイオメカニクスを得るための単眼ビデオアプローチは未開発のままである。
本稿では,SAM 3D Body 基礎モデルと逆運動学最適化を組み合わせた全身生体力学モデルを用いて,単視点ビデオから解剖学的に拘束された指関節角度を抽出する手法を提案する。
We port SAM 3D Body from PyTorch to JAX for integration with MuJoCo-MJX, allowing GPU-accelerated optimization, and developed a novel mapping between the Momentum Human Rig (MHR) outputs and biomechanical model markers。
様々な手ポーズを行う7人の被験者の4,590フレームの8カメラ・マルチビュー再構成に対する検証を行い、対象操作タスクはプロクリストアライメント後の指関節角度誤差約10度、手の位置誤差約6mmを示した。
結果はカメラの視点で一致し、マルチビュービデオから参照値を生成する様々な方法に頑健であった。
この研究は、単眼の生体力学的解析を詳細な指追跡に拡張し、手の動きの定量的な特徴にアクセスできるように拡張する。
関連論文リスト
- Biomechanical 3D Body: Self-Supervised Distillation of Biomechanical Pose from a 3D Body Foundation Model [15.358487825950212]
我々は既存の基盤モデルSAM-3D-Bodyを拡張し、生体力学モデルの関節角度とスケールを補強する生体力学的予測ヘッドを追加する。
これを解決するために, 逆キネマティクスを行うLevenberg-Marquardtソルバのループ内最適化目標を用いたバイオメカニカルアウトプットを, メッシュ予測のマーカーに適合させる。
我々は,このモデルを2つのマーカーベースデータセット(MoViとBioCV)に適合する生体力学的適合性,およびマルチビューマーカーレスモーションキャプチャーによる臨床コホートからの移動性について検証した。
論文 参考訳（メタデータ） (2026-08-30T17:46:11Z) - Biomechanics-aware Multi-view Markerless Motion Capture of Dexterous Hand Movements [2.0004822581380775]
マーカーレスモーションキャプチャ(MMC)技術は、人間の運動の生体力学的解析において広く有用である。
本研究の目的は,手の動きを追尾するループ内の生体力学的モデルを用いた生体力学的再構成法の性能を評価することである。
論文 参考訳（メタデータ） (2026-07-02T22:14:59Z) - MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation [50.65653874052261]
MVTrack4Genは、カメラコンディショニングのみの新規ビュービデオ拡散モデルのためのモーションアウェアトレーニングフレームワークである。
我々の重要な発見は、特定の注意層が強い対応の手がかりを符号化することであり、そこでは、クエリ機能は幾何学的に対応する場所で重要な特徴に付随する。
これらの動き認識対応を明示的に強化することにより、MVTrack4Genは既存のモデルを改善し、参照ビューにおける動きをより良く追従し、クロスビューの幾何的一貫性を維持する。
論文 参考訳（メタデータ） (2026-06-24T17:56:33Z) - Markerless Motion Capture for Biomechanical Whole-Body Kinematic Estimation in Infants [0.9332987715848714]
本研究は,多視点モーションキャプチャーシステムを用いて記録された8人の幼児の13セッションについて,100ビデオの3つのポーズ推定フレームワークを体系的に評価した。
提案手法は,再投射誤差,幾何整合性,Procrustesの3次元位置誤差を用いてキーポイント検出精度を定量化し,逆運動フレームワークを幼児データに適用するための概念実証を行った。
本稿では, SAM 3D に適合する生体力学的モデルを用いて, 運動発達に関連する乳児の代表的運動パターンを, 臨床専門家が特定した事例比較例で示す。
論文 参考訳（メタデータ） (2026-05-16T18:55:06Z) - ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳（メタデータ） (2026-04-19T21:21:11Z) - BioPose: Biomechanically-accurate 3D Pose Estimation from Monocular Videos [6.280386490530478]
BioPoseは、モノクロビデオから直接、生体力学的に正確な3Dポーズを予測するための学習ベースのフレームワークである。
マルチクエリヒューマンメッシュリカバリモデル(MQ-HMR)、ニューラル・インバース・キネマティクス(NeurIK)モデル、および2Dインフォームド・ポーズ・リファインメント技術を含んでいる。
ベンチマークデータセットの実験では、BioPoseが最先端の手法を大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2025-01-14T02:56:19Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - Real-time, accurate, and open source upper-limb musculoskeletal analysis using a single RGBD camera [0.14999444543328289]
バイオメカニカルバイオフィードバックは、リハビリテーションを強化し、より客観的なタスク評価を提供する。
我々のオープンソースアプローチは、単一の低コストのRGBDカメラを使用して、高忠実な上肢キネマティクスのためのユーザフレンドリーなソリューションを提供します。
論文 参考訳（メタデータ） (2024-06-14T13:20:05Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-02-20T17:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。