論文の概要: Biomechanical 3D Body: Self-Supervised Distillation of Biomechanical Pose from a 3D Body Foundation Model
- arxiv url: http://arxiv.org/abs/2608.29928v1
- Date: Sun, 30 Aug 2026 17:46:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.121242
- Title: Biomechanical 3D Body: Self-Supervised Distillation of Biomechanical Pose from a 3D Body Foundation Model
- Title（参考訳）: バイオメカニカル3Dボディ:3Dボディファンデーションモデルによるバイオメカニカルポッドの自己監督蒸留
- Abstract要約: 我々は既存の基盤モデルSAM-3D-Bodyを拡張し、生体力学モデルの関節角度とスケールを補強する生体力学的予測ヘッドを追加する。
これを解決するために, 逆キネマティクスを行うLevenberg-Marquardtソルバのループ内最適化目標を用いたバイオメカニカルアウトプットを, メッシュ予測のマーカーに適合させる。
我々は,このモデルを2つのマーカーベースデータセット(MoViとBioCV)に適合する生体力学的適合性,およびマルチビューマーカーレスモーションキャプチャーによる臨床コホートからの移動性について検証した。
- 参考スコア（独自算出の注目度）: 15.358487825950212
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: State-of-the-art monocular body recovery methods predict mesh vertices and angles on the corresponding kinematic tree, but their outputs lack biomechanically defined joint angles that downstream applications like clinical and biomechanical analyses require. We extend an existing foundation model, SAM-3D-Body, with an additional biomechanical prediction head that, from a single RGB image, regresses the joint angles and scales of a biomechanical model. Training this model presents a challenge, as there are limited datasets of paired images and biomechanical fits. To overcome this, we supervise biomechanical outputs with in-loop optimized targets from a Levenberg-Marquardt solver performing inverse kinematics fits against markers from the mesh predictions. This allows distilling the biomechanical head from the mesh head, even from unlabeled images. To make this work with GPU-optimized biomechanical models in MuJoCo, the entire model was implemented in JAX using Equinox. We trained this distilled output head on the publicly released SAM-3D-Body dataset. We then validated this model on biomechanical fits to two publicly available marker-based datasets, MoVi and BioCV, as well as movements from a clinical cohort captured with multiview markerless motion capture. The resulting model outperforms existing models for direct regression of biomechanics from images while only slightly underperforming the state-of-the-art monocular biomechanics method that performs more costly inference-time optimization of entire trajectories.
- Abstract（参考訳）: 最先端の単分子体回復法は、対応するキネマティックツリーのメッシュ頂点と角度を予測するが、その出力は、臨床および生体力学的解析のような下流の応用に必要な生体力学的に定義された関節角度を欠いている。
我々は既存の基盤モデルSAM-3D-Bodyを拡張し、単一のRGB画像から生体力学モデルの関節角度とスケールを回帰する生体力学的予測ヘッドを追加する。
このモデルのトレーニングは、ペア画像とバイオメカニカルフィットのデータセットが限られているため、課題となる。
これを解決するために, 逆キネマティクスを行うLevenberg-Marquardtソルバのループ内最適化目標を用いたバイオメカニカルアウトプットを, メッシュ予測のマーカーに適合させる。
これにより、未ラベル画像からでも、メッシュヘッドから生体力学的頭部を蒸留することができる。
この作業を MuJoCo の GPU 最適化バイオメカニカルモデルで行うために,Equinox を用いて JAX でモデル全体を実装した。
我々は、この蒸留した出力ヘッドを、一般公開されたSAM-3D-Bodyデータセット上で訓練した。
次に, このモデルを, MoVi と BioCV の2つの公開マーカーベースデータセットと, 多視点マーカーレスモーションキャプチャによる臨床コホートからの移動に適合する生体力学的適合性について検証した。
結果として得られたモデルは、画像からのバイオメカニクスの直接回帰のための既存のモデルよりも優れ、また、トラジェクトリ全体のよりコストのかかる推論時間最適化を行う最先端の単分子バイオメカニクス法よりもわずかに劣っている。
関連論文リスト
- Pose-to-Biomechanics: Bridging 3D Human Pose Estimation and Biomechanical Attribute Prediction [4.726777092009554]
BioModuleは軽量なプラグイン時間変換器で、任意の3Dポーズ推定器の下流に取り付ける。
BioModuleは推定器に依存しないため、上流のポーズモデルを変更する必要はない。
我々は7つの最先端の3Dポーズ推定器でBioModuleをベンチマークした。
論文 参考訳（メタデータ） (2026-07-09T17:31:16Z) - Instruct-Particulate: Scaling Feed-Forward 3D Object Articulation with Kinematic Control [86.64250947574749]
合成された3Dオブジェクトの再構成は、アニメーション、ゲーム、ロボットシミュレーションにおいて重要である。
最近のニューラルネットワークは、3Dオブジェクトの明瞭な構造を推定できるが、その一般化は注釈付きデータの不足によって制限されている。
Instruct-Particulateは、3Dメッシュとターゲットキネマティック仕様を併用するモデルである。
論文 参考訳（メタデータ） (2026-06-12T17:59:36Z) - SOMA: From Surface Observations to Muscle Anatomy [55.23576061150391]
RGBカメラを用いて得られた表面信号から生体時相筋の挙動を推定する人特有のモデルであるSOMAを提案する。
本手法は従来のシミュレーションの複雑さを伴わずに,解剖学的に基底付けられたアニメーションをいかに提供するかを示す。
論文 参考訳（メタデータ） (2026-06-08T09:20:46Z) - Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models [1.0195618602298682]
本稿では,SAM 3D Body 基礎モデルと逆運動学最適化を組み合わせた全身生体力学モデルを用いて,単視点ビデオから解剖学的に拘束された指関節角度を抽出する手法を提案する。
この研究は、単眼の生体力学的解析を詳細な指追跡に拡張し、手の動きの定量的な特徴にアクセスできるように拡張する。
論文 参考訳（メタデータ） (2026-05-10T02:06:43Z) - MonoMSK: Monocular 3D Musculoskeletal Dynamics Estimation [9.3102957142944]
データ駆動学習と物理に基づくシミュレーションを橋渡しするハイブリッドフレームワークであるMonoMSKを紹介する。
MonoMSKは解剖学的に正確な筋骨格モデルにより運動学(運動)と運動学(力とトルク)の両方を共同で回復させる。
BML-MoVi、BEDLAM、OpenCapの実験では、MonoMSKはキネマティックな精度で最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2025-11-24T17:20:17Z) - From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans [50.014530130312714]
SMPL体モデルに生体力学スケルトンを付加したSKELを開発した。
その結果,SKELはSMPLよりも生体力学的に正確な関節位置を有しており,骨は従来法よりも体表面に収まることがわかった。
論文 参考訳（メタデータ） (2025-09-08T12:24:27Z) - Reconstructing Humans with a Biomechanically Accurate Skeleton [55.06027148976482]
本研究では,生体力学的に正確な骨格モデルを用いて,単一の画像から3次元人体を再構築する手法を提案する。
3次元メッシュ回復のための最先端の手法と比較して,我々のモデルは標準ベンチマーク上での競合性能を実現している。
論文 参考訳（メタデータ） (2025-03-27T17:56:24Z) - Validation of Human Pose Estimation and Human Mesh Recovery for Extracting Clinically Relevant Motion Data from Videos [79.62407455005561]
人間のポーズ推定を用いたマーカーレスモーションキャプチャは、IMUとMoCapのキネマティクスの結果とインラインで結果を生成する。
生成するデータの品質に関してはまだ改善の余地がありますが、この妥協はエラーの部屋にあると考えています。
論文 参考訳（メタデータ） (2025-03-18T22:18:33Z) - BioPose: Biomechanically-accurate 3D Pose Estimation from Monocular Videos [6.280386490530478]
BioPoseは、モノクロビデオから直接、生体力学的に正確な3Dポーズを予測するための学習ベースのフレームワークである。
マルチクエリヒューマンメッシュリカバリモデル(MQ-HMR)、ニューラル・インバース・キネマティクス(NeurIK)モデル、および2Dインフォームド・ポーズ・リファインメント技術を含んでいる。
ベンチマークデータセットの実験では、BioPoseが最先端の手法を大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2025-01-14T02:56:19Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-02-20T17:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。