論文の概要: PhysHOI: Physics-Based Imitation of Dynamic Human-Object Interaction
- arxiv url: http://arxiv.org/abs/2312.04393v1
- Date: Thu, 7 Dec 2023 16:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:19:22.357773
- Title: PhysHOI: Physics-Based Imitation of Dynamic Human-Object Interaction
- Title(参考訳): Physhoi: 物理に基づく動的人間-物体相互作用の模倣
- Authors: Yinhuai Wang, Jing Lin, Ailing Zeng, Zhengyi Luo, Jian Zhang and Lei
Zhang
- Abstract要約: 本稿では,PhysHOIについて述べる。PhysHOIは,タスク固有の報酬設計を伴わない物理ベースの全体HOI模倣手法である。
人や物体のキネマティックHOI表現以外は、接触グラフを導入し、身体部分と物体との接触関係を明示的にモデル化する。
鍵となる設計に基づいて、PhysHOIは様々なHOIタスクを模倣できる。
- 参考スコア(独自算出の注目度): 22.48933099236595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans interact with objects all the time. Enabling a humanoid to learn
human-object interaction (HOI) is a key step for future smart animation and
intelligent robotics systems. However, recent progress in physics-based HOI
requires carefully designed task-specific rewards, making the system unscalable
and labor-intensive. This work focuses on dynamic HOI imitation: teaching
humanoid dynamic interaction skills through imitating kinematic HOI
demonstrations. It is quite challenging because of the complexity of the
interaction between body parts and objects and the lack of dynamic HOI data. To
handle the above issues, we present PhysHOI, the first physics-based whole-body
HOI imitation approach without task-specific reward designs. Except for the
kinematic HOI representations of humans and objects, we introduce the contact
graph to model the contact relations between body parts and objects explicitly.
A contact graph reward is also designed, which proved to be critical for
precise HOI imitation. Based on the key designs, PhysHOI can imitate diverse
HOI tasks simply yet effectively without prior knowledge. To make up for the
lack of dynamic HOI scenarios in this area, we introduce the BallPlay dataset
that contains eight whole-body basketball skills. We validate PhysHOI on
diverse HOI tasks, including whole-body grasping and basketball skills.
- Abstract(参考訳): 人間は常に物体と相互作用する。
ヒューマノイドが人間と物体の相互作用(hoi)を学習できるようにすることは、将来のスマートアニメーションとインテリジェントロボットシステムにとって重要なステップである。
しかし、物理学に基づくHOIの最近の進歩は、タスク固有の報酬を慎重に設計する必要があるため、システムは膨大で労働集約的である。
この研究は、動的HOI模倣に焦点を当て、運動論的HOIデモンストレーションを模倣することで、ヒューマノイドの動的相互作用スキルを教える。
身体の一部と物体との相互作用の複雑さと、動的なhoiデータの欠如から、非常に困難である。
上記の問題に対処するため,PhysHOIは,タスク固有の報酬設計を伴わずに,物理ベースの全身HOI模倣手法である。
人や物体のキネマティックHOI表現を除いて,物体と身体の接触関係を明示的にモデル化するための接触グラフを導入する。
コンタクトグラフの報酬も設計されており、正確なHOIの模倣には重要であることが証明されている。
鍵となる設計に基づいて、PhysHOIは様々なHOIタスクを模倣できる。
この領域における動的なHOIシナリオの欠如を補うために,全体バスケットボールスキルを8つ含むBallPlayデータセットを紹介した。
体全体の把握やバスケットボールのスキルなど,さまざまなhoiタスクでphyshoiを検証する。
関連論文リスト
- ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative
Modeling of Human-Object Interactions [11.32229757116179]
そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。
ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
論文 参考訳(メタデータ) (2024-01-18T18:59:58Z) - DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics [21.00283279991885]
DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。
様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
論文 参考訳(メタデータ) (2023-09-24T20:25:59Z) - Physically Grounded Vision-Language Models for Robotic Manipulation [59.143640049407104]
39.6Kのクラウドソースと417Kの自動物理概念アノテーションからなるオブジェクト中心のデータセットであるPhysObjectsを提案する。
本稿では,PhysObjects上での視覚言語モデルの微調整により,物理オブジェクト概念の理解が向上することを示す。
我々は、この物理的基盤を持つVLMを、大規模言語モデルに基づくロボットプランナーと対話的なフレームワークに組み込む。
論文 参考訳(メタデータ) (2023-09-05T20:21:03Z) - Compositional 3D Human-Object Neural Animation [93.38239238988719]
人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。
本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。
我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
論文 参考訳(メタデータ) (2023-04-27T10:04:56Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - Interaction Replica: Tracking human-object interaction and scene changes
from human motion [67.42489661574325]
iReplicaは、人間の動きのみに基づいて物体やシーンの変化を追跡する、初めての人間と物体の相互作用推論手法である。
私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されます。
論文 参考訳(メタデータ) (2022-05-05T17:58:06Z) - SPACE: A Simulator for Physical Interactions and Causal Learning in 3D
Environments [2.105564340986074]
本研究では,3次元環境における物理インタラクションと因果学習のためのシミュレータSPACEを紹介する。
SPACEデータセットは、毎日のオブジェクトインタラクションにインスパイアされ、封じ込め、安定性、接触という3種類の物理的なイベントを描写したビデオで構成されている。
SPACEデータセットは、カリキュラム学習にインスパイアされたアプローチにより、直感的な物理学の学習を改善する。
論文 参考訳(メタデータ) (2021-08-13T11:49:46Z) - Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose
Estimation [25.03715978502528]
本研究では,物体の相互作用と人体動態を3次元エゴ位置推定のタスクに組み込む手法を提案する。
我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。
これは、エゴセントリックなビデオからオブジェクトと物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の試みである。
論文 参考訳(メタデータ) (2020-11-10T00:06:43Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳(メタデータ) (2020-07-09T17:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。