論文の概要: MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints

• arxiv url: http://arxiv.org/abs/2404.10227v1
• Date: Tue, 16 Apr 2024 02:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 18:22:10.633973
• Title: MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints
• Title（参考訳）: MS-MANO:バイオメカニカル制約によるハンドポーズトラッキングの実現
• Authors: Pengfei Xie, Wenqiang Xu, Tutian Tang, Zhenjun Yu, Cewu Lu,
• Abstract要約: 筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
• 参考スコア（独自算出の注目度）: 50.61346764110482
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This work proposes a novel learning framework for visual hand dynamics analysis that takes into account the physiological aspects of hand motion. The existing models, which are simplified joint-actuated systems, often produce unnatural motions. To address this, we integrate a musculoskeletal system with a learnable parametric hand model, MANO, to create a new model, MS-MANO. This model emulates the dynamics of muscles and tendons to drive the skeletal system, imposing physiologically realistic constraints on the resulting torque trajectories. We further propose a simulation-in-the-loop pose refinement framework, BioPR, that refines the initial estimated pose through a multi-layer perceptron (MLP) network. Our evaluation of the accuracy of MS-MANO and the efficacy of the BioPR is conducted in two separate parts. The accuracy of MS-MANO is compared with MyoSuite, while the efficacy of BioPR is benchmarked against two large-scale public datasets and two recent state-of-the-art methods. The results demonstrate that our approach consistently improves the baseline methods both quantitatively and qualitatively.
• Abstract（参考訳）: 本研究は,手の動きの生理的側面を考慮した視覚的手動解析のための新しい学習フレームワークを提案する。 既存のモデルは、単純化されたジョイントアクチュエータシステムであり、しばしば不自然な動きを発生させる。 そこで我々は,筋骨格系を学習可能なパラメトリックハンドモデルMANOと統合し,新しいモデルMS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 さらに,マルチ層パーセプトロン(MLP)ネットワークによる初期推定ポーズを洗練させるシミュレーション・イン・ザ・ループ・ポーズ・リファインメント・フレームワークであるBioPRを提案する。 本研究は,MS-MANOの精度とBioPRの有効性を2つに分けて評価した。 MS-MANOの精度をMyoSuiteと比較し、BioPRの有効性を2つの大規模パブリックデータセットと2つの最新の最先端手法でベンチマークする。 その結果,本手法は定量的かつ定性的に基礎的手法を一貫して改善することを示した。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• 3D Kinematics Estimation from Video with a Biomechanical Model and Synthetic Training Data [4.130944152992895]
  2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。 実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-20T17:33:40Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Micro-Macro Consistency in Multiscale Modeling: Score-Based Model Assisted Sampling of Fast/Slow Dynamical Systems [0.0]
  物理に基づくマルチ時間動的システムの研究において,サンプリングの高度化のための技術が開発されている。 機械学習の分野では、生成モデルの一般的な目標は、この密度から経験的なサンプルをトレーニングした後、ターゲット密度からサンプリングすることである。 本研究では,SGMをこのような結合フレームワークで利用することにより,マルチスケールな動的システムにおけるサンプリングを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-12-10T00:46:37Z)
• A Physics-Informed Low-Shot Learning For sEMG-Based Estimation of Muscle Force and Joint Kinematics [4.878073267556235]
  表面筋電図(sEMG)による筋力と関節キネマティクス推定はリアルタイム生体力学的解析に不可欠である。 ディープニューラルネットワーク(DNN)の最近の進歩は、完全に自動化され再現可能な方法で生体力学解析を改善する可能性を示している。 本稿では,筋力と関節キネマティクスのsEMGに基づく新しい物理インフォームドローショット学習法を提案する。
  論文  参考訳（メタデータ） (2023-07-08T23:01:12Z)
• Extending Process Discovery with Model Complexity Optimization and Cyclic States Identification: Application to Healthcare Processes [62.997667081978825]
  モデル最適化のための半自動支援を実現するプロセスマイニング手法を提案する。 所望の粒度で生モデルを抽象化するモデル単純化手法が提案されている。 医療分野の異なるアプリケーションから得られた3つのデータセットを用いて、技術的ソリューションの能力を実証することを目的としている。
  論文  参考訳（メタデータ） (2022-06-10T16:20:59Z)
• End-to-End Learning of Hybrid Inverse Dynamics Models for Precise and Compliant Impedance Control [16.88250694156719]
  剛体力学モデルの物理的に一貫した慣性パラメータを同定できる新しいハイブリッドモデルの定式化を提案する。 7自由度マニピュレータ上での最先端の逆動力学モデルに対する我々のアプローチを比較した。
  論文  参考訳（メタデータ） (2022-05-27T07:39:28Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• Energy-based View of Retrosynthesis [70.66156081030766]
  エネルギーモデルとしてシーケンスおよびグラフベースの手法を統一するフレームワークを提案する。 本稿では,ベイズ前方および後方予測に対して一貫した訓練を行うフレームワーク内での新しい二重変種を提案する。 このモデルは、反応型が不明なテンプレートフリーアプローチに対して、最先端の性能を9.6%向上させる。
  論文  参考訳（メタデータ） (2020-07-14T18:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。