論文の概要: Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation

• arxiv url: http://arxiv.org/abs/2106.05969v1
• Date: Thu, 10 Jun 2021 17:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:40:58.553984
• Title: Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation
• Title（参考訳）: エゴセントリックポーズ推定のためのダイナミクス制御キネマティックポリシー
• Authors: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, Kris Kitani
• Abstract要約: 本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。 ウェアラブルカメラ1台を用いて、物理的に証明可能な3Dオブジェクトインタラクションを推定する能力を初めて実証した。
• 参考スコア（独自算出の注目度）: 23.603254270514224
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a method for object-aware 3D egocentric pose estimation that tightly integrates kinematics modeling, dynamics modeling, and scene object information. Unlike prior kinematics or dynamics-based approaches where the two components are used disjointly, we synergize the two approaches via dynamics-regulated training. At each timestep, a kinematic model is used to provide a target pose using video evidence and simulation state. Then, a prelearned dynamics model attempts to mimic the kinematic pose in a physics simulator. By comparing the pose instructed by the kinematic model against the pose generated by the dynamics model, we can use their misalignment to further improve the kinematic model. By factoring in the 6DoF pose of objects (e.g., chairs, boxes) in the scene, we demonstrate for the first time, the ability to estimate physically-plausible 3D human-object interactions using a single wearable camera. We evaluate our egocentric pose estimation method in both controlled laboratory settings and real-world scenarios.
• Abstract（参考訳）: 本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。 先行キネマティクスやダイナミクスベースのアプローチと異なり,2つのコンポーネントを相互に使用する場合と異なり,ダイナミクスが制御するトレーニングによって2つのアプローチを相乗化する。 各段階において、キネマティックモデルを用いて、ビデオエビデンスとシミュレーション状態を用いてターゲットポーズを提供する。 そして、事前学習された動力学モデルは、物理シミュレーターでキネマティックポーズを模倣しようとする。 運動モデルが指示するポーズとダイナミクスモデルが生成するポーズを比較することで、それらの不一致を利用して運動モデルをさらに改善することができる。 シーン内の物体(例えば椅子や箱)の6DoFのポーズを分解することにより、初めて、単一のウェアラブルカメラを用いて物理的に解明可能な3Dオブジェクトインタラクションを推定する能力を示す。 実験環境と実世界のシナリオの両方において,自発的なポーズ推定手法を評価した。

関連論文リスト

• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
  DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。 モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-24T17:58:37Z)
• Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation [76.58256020932312]
  単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。 モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:45:01Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• SimPoE: Simulated Character Control for 3D Human Pose Estimation [33.194787030240825]
  SimPoEは、3Dヒューマンポース推定のためのシミュレーションベースのアプローチです。 画像ベースのキネマティック推論と物理ベースのダイナミクスモデリングを統合します。 提案手法は, 身体的信頼性を確保しつつ, 姿勢精度の新たな状態を確立する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:50Z)
• Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation [25.03715978502528]
  本研究では,物体の相互作用と人体動態を3次元エゴ位置推定のタスクに組み込む手法を提案する。 我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。 これは、エゴセントリックなビデオからオブジェクトと物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の試みである。
  論文  参考訳（メタデータ） (2020-11-10T00:06:43Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。