論文の概要: Physics-Guided Human Motion Capture with Pose Probability Modeling

• arxiv url: http://arxiv.org/abs/2308.09910v1
• Date: Sat, 19 Aug 2023 05:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 19:09:56.837697
• Title: Physics-Guided Human Motion Capture with Pose Probability Modeling
• Title（参考訳）: ポーズ確率モデルを用いた物理誘導ヒトモーションキャプチャ
• Authors: Jingyi Ju, Buzhen Huang, Chen Zhu, Zhihao Li and Yangang Wang
• Abstract要約: 既存の解は常にキネマティックな結果を参照運動として採用し、物理は後処理モジュールとして扱われる。 本研究では,逆拡散過程における物理法則を用いて,モデル化されたポーズ確率分布から人間の動きを再構成する。 数回の反復で、物理に基づく追跡とキネマティック・デノゲーションは互いに促進し、物理的に妥当な人間の動きを生成する。
• 参考スコア（独自算出の注目度）: 35.159506668475565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating physics in human motion capture to avoid artifacts like floating, foot sliding, and ground penetration is a promising direction. Existing solutions always adopt kinematic results as reference motions, and the physics is treated as a post-processing module. However, due to the depth ambiguity, monocular motion capture inevitably suffers from noises, and the noisy reference often leads to failure for physics-based tracking. To address the obstacles, our key-idea is to employ physics as denoising guidance in the reverse diffusion process to reconstruct physically plausible human motion from a modeled pose probability distribution. Specifically, we first train a latent gaussian model that encodes the uncertainty of 2D-to-3D lifting to facilitate reverse diffusion. Then, a physics module is constructed to track the motion sampled from the distribution. The discrepancies between the tracked motion and image observation are used to provide explicit guidance for the reverse diffusion model to refine the motion. With several iterations, the physics-based tracking and kinematic denoising promote each other to generate a physically plausible human motion. Experimental results show that our method outperforms previous physics-based methods in both joint accuracy and success rate. More information can be found at \url{https://github.com/Me-Ditto/Physics-Guided-Mocap}.
• Abstract（参考訳）: 人間のモーションキャプチャーに物理を組み込むことで、浮き、足の滑り、地面の浸透などのアーティファクトを避けることが、有望な方向である。 既存の解は常にキネマティックな結果を参照運動として採用し、物理は後処理モジュールとして扱われる。 しかし、奥行きの曖昧さのため、単眼のモーションキャプチャーは必然的にノイズに悩まされ、ノイズの基準はしばしば物理に基づく追跡に失敗する。 この障害に対処するために,我々は,モデル化されたポーズ確率分布から物理的に妥当な人間の動きを再構築するために,逆拡散過程における解法指導として物理学を利用する。 具体的には, 2次元から3次元への昇降の不確かさを符号化し, 逆拡散を容易にする潜在ガウス模型の訓練を行った。 そして、その分布からサンプリングされた動きを追跡する物理モジュールを構築する。 追跡運動と画像観察の相違は、動きを洗練するために逆拡散モデルに対して明示的なガイダンスを与えるために用いられる。 数回の反復で、物理に基づく追跡とキネマティック・デノゲーションは互いに促進し、物理的に妥当な人間の動きを生成する。 実験の結果, 従来の物理法よりも, ジョイント精度と成功率の両面で優れていた。 詳細は \url{https://github.com/Me-Ditto/Physics-Guided-Mocap} で確認できる。

関連論文リスト

• Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
  オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。 リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。 提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
  論文  参考訳（メタデータ） (2024-10-10T10:24:59Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• PhysDiff: Physics-Guided Human Motion Diffusion Model [101.1823574561535]
  既存の運動拡散モデルは、拡散過程における物理学の法則をほとんど無視する。 PhysDiffは拡散過程に物理的制約を組み込む。 提案手法は,最先端の動作品質を実現し,身体的可視性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-12-05T18:59:52Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• Neural MoCon: Neural Motion Control for Physically Plausible Human Motion Capture [12.631678059354593]
  我々は、高精度で微分不可能な物理シミュレータを利用して、モーションキャプチャーに動的制約を組み込む。 我々のキーイデアは、実際の物理的な監督を利用して、サンプリングベースのモーションコントロールの前にターゲットのポーズ分布をトレーニングすることです。 その結果, 複雑な地形相互作用, 人体形状の変化, 多様な行動を伴う身体的可視な人体運動が得られた。
  論文  参考訳（メタデータ） (2022-03-26T12:48:41Z)
• Generating Smooth Pose Sequences for Diverse Human Motion Prediction [90.45823619796674]
  本稿では,多様な動作予測と制御可能な動作予測のための統合された深部生成ネットワークを提案する。 標準ベンチマークデータセットであるHuman3.6MとHumanEva-Iの2つの実験は、我々のアプローチがサンプルの多様性と精度の両方において最先端のベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2021-08-19T00:58:00Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。