論文の概要: SimPoE: Simulated Character Control for 3D Human Pose Estimation
- arxiv url: http://arxiv.org/abs/2104.00683v1
- Date: Thu, 1 Apr 2021 17:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:50:16.582344
- Title: SimPoE: Simulated Character Control for 3D Human Pose Estimation
- Title（参考訳）: simpoe:3次元ポーズ推定のためのシミュレート文字制御
- Authors: Ye Yuan, Shih-En Wei, Tomas Simon, Kris Kitani, Jason Saragih
- Abstract要約: SimPoEは、3Dヒューマンポース推定のためのシミュレーションベースのアプローチです。
画像ベースのキネマティック推論と物理ベースのダイナミクスモデリングを統合します。
提案手法は, 身体的信頼性を確保しつつ, 姿勢精度の新たな状態を確立する。
- 参考スコア（独自算出の注目度）: 33.194787030240825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate estimation of 3D human motion from monocular video requires modeling
both kinematics (body motion without physical forces) and dynamics (motion with
physical forces). To demonstrate this, we present SimPoE, a Simulation-based
approach for 3D human Pose Estimation, which integrates image-based kinematic
inference and physics-based dynamics modeling. SimPoE learns a policy that
takes as input the current-frame pose estimate and the next image frame to
control a physically-simulated character to output the next-frame pose
estimate. The policy contains a learnable kinematic pose refinement unit that
uses 2D keypoints to iteratively refine its kinematic pose estimate of the next
frame. Based on this refined kinematic pose, the policy learns to compute
dynamics-based control (e.g., joint torques) of the character to advance the
current-frame pose estimate to the pose estimate of the next frame. This design
couples the kinematic pose refinement unit with the dynamics-based control
generation unit, which are learned jointly with reinforcement learning to
achieve accurate and physically-plausible pose estimation. Furthermore, we
propose a meta-control mechanism that dynamically adjusts the character's
dynamics parameters based on the character state to attain more accurate pose
estimates. Experiments on large-scale motion datasets demonstrate that our
approach establishes the new state of the art in pose accuracy while ensuring
physical plausibility.
- Abstract（参考訳）: 単眼ビデオからの3次元人間の運動の正確な推定には、運動学(身体運動)と運動学(身体運動)の両方をモデル化する必要がある。
これを実演するために,画像に基づく動力学的推論と物理に基づく動的モデリングを統合した3次元人文推定のためのシミュレーションベースのアプローチであるSimPoEを提案する。
SimPoEは、現在のフレームポーズ推定と次のイメージフレームを入力として、物理シミュレーションされた文字を制御して次のフレームポーズ推定を出力するポリシーを学ぶ。
このポリシーは、2Dキーポイントを使用して次のフレームのキネマティックポーズ推定を反復的に洗練する学習可能なキネマティックポーズ改善ユニットを含む。
この洗練されたキネマティックなポーズに基づいて、ポリシーはキャラクタのダイナミクスベースの制御(例えばジョイントトルク)を計算し、現在のポーズ推定を次のフレームのポーズ推定に進める。
この設計は、運動的ポーズリファインメントユニットとダイナミクスベースの制御生成ユニットを結合し、強化学習と共同で学習し、正確かつ物理的に評価可能なポーズ推定を実現する。
さらに,キャラクタの動特性パラメータをキャラクタの状態に基づいて動的に調整し,より正確なポーズ推定を行うメタ制御機構を提案する。
大規模動作データセットを用いた実験により,本手法が身体的妥当性を確保しつつ,精度を向上することを示す。
関連論文リスト
- PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
物理シミュレーションの原理を取り入れた新しいフレームワークであるPhysMotionを導入し,1つの画像から生成された中間3次元表現をガイドする。
我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
論文 参考訳（メタデータ） (2024-11-26T07:59:11Z) - Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。
提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
論文 参考訳（メタデータ） (2024-10-10T10:24:59Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳（メタデータ） (2023-10-11T05:34:36Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - 3D Pose Estimation and Future Motion Prediction from 2D Images [26.28886209268217]
本稿では,3次元人物のポーズを推定し,RGB画像列から将来の3次元動作を予測するという,高相関な課題に共同で取り組むことを検討する。
リー代数のポーズ表現に基づいて、人間の運動キネマティクスを自然に保存する新しい自己投射機構が提案されている。
論文 参考訳（メタデータ） (2021-11-26T01:02:00Z) - Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation [23.603254270514224]
本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。
ウェアラブルカメラ1台を用いて、物理的に証明可能な3Dオブジェクトインタラクションを推定する能力を初めて実証した。
論文 参考訳（メタデータ） (2021-06-10T17:59:50Z) - HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。
モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。
本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文 参考訳（メタデータ） (2021-05-10T21:04:55Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳（メタデータ） (2020-06-24T23:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。