論文の概要: Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation

• arxiv url: http://arxiv.org/abs/2011.04837v3
• Date: Wed, 9 Dec 2020 03:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 07:32:16.020801
• Title: Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation
• Title（参考訳）: 物体認識型3次元Ego-Pose推定のためのキネマティクスによる強化学習
• Authors: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, Shun Iwase, Kris M. Kitani
• Abstract要約: 本研究では,物体の相互作用と人体動態を3次元エゴ位置推定のタスクに組み込む手法を提案する。 我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。 これは、エゴセントリックなビデオからオブジェクトと物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の試みである。
• 参考スコア（独自算出の注目度）: 25.03715978502528
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a method for incorporating object interaction and human body dynamics into the task of 3D ego-pose estimation using a head-mounted camera. We use a kinematics model of the human body to represent the entire range of human motion, and a dynamics model of the body to interact with objects inside a physics simulator. By bringing together object modeling, kinematics modeling, and dynamics modeling in a reinforcement learning (RL) framework, we enable object-aware 3D ego-pose estimation. We devise several representational innovations through the design of the state and action space to incorporate 3D scene context and improve pose estimation quality. We also construct a fine-tuning step to correct the drift and refine the estimated human-object interaction. This is the first work to estimate a physically valid 3D full-body interaction sequence with objects (e.g., chairs, boxes, obstacles) from egocentric videos. Experiments with both controlled and in-the-wild settings show that our method can successfully extract an object-conditioned 3D ego-pose sequence that is consistent with the laws of physics.
• Abstract（参考訳）: 本稿では,頭部カメラを用いた3次元エゴ位置推定作業にオブジェクトインタラクションと人体ダイナミクスを組み込む手法を提案する。 我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。 オブジェクトモデリング、キネマティックスモデリング、動的モデリングを強化学習(RL)フレームワークに組み込むことで、オブジェクトを意識した3Dエゴ位置推定を可能にする。 状態空間と行動空間の設計を通じて、複数の表現的革新を考案し、3Dシーンコンテキストを取り入れ、ポーズ推定品質を向上させる。 また、ドリフトを補正し、推定された人間と対象の相互作用を洗練するための微調整ステップも構築した。 これは、エゴセントリックなビデオからオブジェクト(例えば椅子、箱、障害物)と物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の研究である。 制御と内部設定の両方で実験した結果,本手法は物理法則に準拠した3次元エゴポス配列の抽出に有効であることがわかった。

関連論文リスト

• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation [23.603254270514224]
  本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。 ウェアラブルカメラ1台を用いて、物理的に証明可能な3Dオブジェクトインタラクションを推定する能力を初めて実証した。
  論文  参考訳（メタデータ） (2021-06-10T17:59:50Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。