論文の概要: Biomechanics-aware Multi-view Markerless Motion Capture of Dexterous Hand Movements
- arxiv url: http://arxiv.org/abs/2607.02796v1
- Date: Thu, 02 Jul 2026 22:14:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.422123
- Title: Biomechanics-aware Multi-view Markerless Motion Capture of Dexterous Hand Movements
- Title（参考訳）: バイオメカニクスによる脱軸手運動のマルチビューマーカーレスモーションキャプチャ
- Authors: Pouyan Firouzabadi, J. D. Peiffer, Kunal Shah, Anton Sobinov, Lee E. Miller, R. James Cotton, Wendy M. Murray,
- Abstract要約: マーカーレスモーションキャプチャ(MMC)技術は、人間の運動の生体力学的解析において広く有用である。
本研究の目的は,手の動きを追尾するループ内の生体力学的モデルを用いた生体力学的再構成法の性能を評価することである。
- 参考スコア（独自算出の注目度）: 2.0004822581380775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Markerless motion capture (MMC) techniques have been widely beneficial in biomechanical analysis of human movement; however, application to complex motions of the hand lags other musculoskeletal systems. The primary goal of this study was to evaluate the performance of a biomechanical reconstruction method that implements a gradient-based optimization approach with a biomechanical model in the loop for tracking dexterous, unconstrained hand movements using MMC. Using a custom, 8-camera setup, we acquired 121 video recordings from 6 participants performing 11 different tasks that spanned 6 hand postures, 5 object manipulation tasks, and involved motion of the proximal upper limb joints. Performance of the proposed MMC pipeline was directly compared to a more commonly adopted two-stage reconstruction method that first triangulates 2D keypoints from computer vision pose estimation algorithms to 3D and then enforces biomechanical constraints by solving a constrained inverse kinematics problem. Relative performance was assessed qualitatively by visual inspection and quantitatively using a computer vision metric. Our method generated solutions for all 121 video recordings; the two-stage method did not converge for 15% of the recordings. Across the remaining videos, our method produced more biomechanically plausible hand kinematics than the two-stage method and was more robust to occlusion effects during tasks that involved objects. The relative robustness of the end-to-end method suggests that it is more effective in utilizing the available 2D digital keypoint information. Automatic and biomechanically meaningful tracking of hand kinematics during dexterous movements has the potential to support clinical evaluation, rehabilitation monitoring, and studies of human motor control.
- Abstract（参考訳）: マーカーレスモーションキャプチャー(MMC)技術は、ヒトの運動の生体力学的解析において広く有用であるが、他の筋骨格系における手の動きに応用されている。
本研究の主な目的は, MMC を用いた手の動きの自覚的, 拘束的手の動きを追跡するために, ループ内における生体力学的モデルを用いた勾配に基づく最適化手法を実現する生体力学的再構成法の性能を評価することである。
従来型の8カメラ装置を用いて、6人の被験者から11の異なる作業を行い、6つの手姿勢、5つの対象操作タスク、および近位上肢関節の運動に関する121の動画記録を得た。
提案したMCCパイプラインの性能は,コンピュータビジョンからの2次元鍵点推定アルゴリズムを3次元に三角測量し,制約付き逆運動学問題を解くことによって生体力学的制約を強制する,より一般的な2段階再構成法と直接比較した。
相対的性能は視覚検査により定性的に評価され,コンピュータビジョンメトリクスを用いて定量的に評価した。
提案手法は,全121枚のビデオ記録に対する解を生成し,その15%は2段法で収束しなかった。
残りのビデオでは,2段階法よりも生体力学的に妥当な手キネマティクスが得られ,物体を含む作業において閉塞効果が強くなった。
エンド・ツー・エンド方式の相対ロバスト性は,利用可能な2次元デジタルキーポイント情報の利用に有効であることが示唆された。
遠位運動時の手関節運動の自動的, 生体力学的に有意な追跡は, 臨床評価, リハビリテーションモニタリング, およびヒトの運動制御の研究を支援する可能性がある。
関連論文リスト
- Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models [1.0195618602298682]
本稿では,SAM 3D Body 基礎モデルと逆運動学最適化を組み合わせた全身生体力学モデルを用いて,単視点ビデオから解剖学的に拘束された指関節角度を抽出する手法を提案する。
この研究は、単眼の生体力学的解析を詳細な指追跡に拡張し、手の動きの定量的な特徴にアクセスできるように拡張する。
論文 参考訳（メタデータ） (2026-05-10T02:06:43Z) - Validation of Human Pose Estimation and Human Mesh Recovery for Extracting Clinically Relevant Motion Data from Videos [79.62407455005561]
人間のポーズ推定を用いたマーカーレスモーションキャプチャは、IMUとMoCapのキネマティクスの結果とインラインで結果を生成する。
生成するデータの品質に関してはまだ改善の余地がありますが、この妥協はエラーの部屋にあると考えています。
論文 参考訳（メタデータ） (2025-03-18T22:18:33Z) - Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation [88.83749146867665]
既存のアプローチは、遠く離れた次のベストなエンドエフェクタのポーズを予測するポリシーを学びます。
すると、運動に対する対応する関節回転角を逆運動学を用いて計算する。
本稿では,Kinematics 拡張空間テンポアル gRaph diffuser を提案する。
論文 参考訳（メタデータ） (2025-03-13T17:48:35Z) - Biomechanics-Guided Residual Approach to Generalizable Human Motion Generation and Estimation [21.750804738752105]
3つの中心となるイノベーションを持つバイオメカニック・アウェア・フレームワークであるBioVAEを提案する。
複数のベンチマークにおいて,BioVAEが最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2025-03-08T10:22:36Z) - A Plug-and-Play Physical Motion Restoration Approach for In-the-Wild High-Difficulty Motions [56.709280823844374]
動作コンテキストとビデオマスクを利用して、欠陥のある動作を修復するマスクベースの動作補正モジュール(MCM)を導入する。
また,運動模倣のための事前訓練および適応手法を用いた物理ベースの運動伝達モジュール (PTM) を提案する。
本手法は,高速な移動を含む映像モーションキャプチャ結果を物理的に洗練するためのプラグイン・アンド・プレイモジュールとして設計されている。
論文 参考訳（メタデータ） (2024-12-23T08:26:00Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-02-20T17:33:40Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [64.59698930334012]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。