論文の概要: Interaction Replica: Tracking human-object interaction and scene changes
from human motion
- arxiv url: http://arxiv.org/abs/2205.02830v3
- Date: Fri, 31 Mar 2023 14:59:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 10:37:13.124430
- Title: Interaction Replica: Tracking human-object interaction and scene changes
from human motion
- Title(参考訳): インタラクション・レプリカ:人間と物体の相互作用とシーンの変化を追跡する
- Authors: Vladimir Guzov, Julian Chibane, Riccardo Marin, Yannan He, Torsten
Sattler, Gerard Pons-Moll
- Abstract要約: iReplicaは、人間の動きのみに基づいて物体やシーンの変化を追跡する、初めての人間と物体の相互作用推論手法である。
私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されます。
- 参考スコア(独自算出の注目度): 67.42489661574325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans naturally change their environment through interactions, e.g., by
opening doors or moving furniture. To reproduce such interactions in virtual
spaces (e.g., metaverse), we need to capture and model them, including changes
in the scene geometry, ideally from egocentric input alone (head camera and
body-worn inertial sensors). While the head camera can be used to localize the
person in the scene, estimating dynamic object pose is much more challenging.
As the object is often not visible from the head camera (e.g., a human not
looking at a chair while sitting down), we can not rely on visual object pose
estimation. Instead, our key observation is that human motion tells us a lot
about scene changes. Motivated by this, we present iReplica, the first
human-object interaction reasoning method which can track objects and scene
changes based solely on human motion. iReplica is an essential first step
towards advanced AR/VR applications in immersive virtual universes and can
provide human-centric training data to teach machines to interact with their
surroundings. Our code, data and model will be available on our project page at
http://virtualhumans.mpi-inf.mpg.de/ireplica/
- Abstract(参考訳): 人間は、例えばドアを開いたり家具を動かしたりすることで、対話を通じて自然に環境を変える。
このような相互作用を仮想空間(メタバースなど)で再現するには、シーン形状の変化を含む、理想的には自我中心の入力(ヘッドカメラとボディウーンの慣性センサー)をキャプチャしてモデル化する必要がある。
ヘッドカメラはシーン内の人物をローカライズするのに使えるが、ダイナミックなオブジェクトのポーズを推定するのはずっと難しい。
被写体は、しばしばヘッドカメラから見えないため(例えば、座っている間椅子を見ていない人間)、視覚的な物体のポーズ推定に頼ることはできない。
その代わり、人間の動きがシーンの変化について多くのことを教えてくれます。
そこで本研究では,人間の動きのみに基づく物体やシーンの変化をトラッキングできる,最初の人間と物体の相互作用推論手法iReplicaを提案する。
iReplicaは没入型仮想空間における高度なAR/VRアプリケーションに向けた重要な第一歩であり、マシンが周囲と対話するための人間中心のトレーニングデータを提供する。
私たちのコード、データ、モデルはプロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/で公開されます。
関連論文リスト
- Revisit Human-Scene Interaction via Space Occupancy [59.732387568308816]
HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。
本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。
純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
論文 参考訳(メタデータ) (2023-12-05T12:03:00Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳(メタデータ) (2023-07-04T21:57:05Z) - Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。
既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。
仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-21T09:22:24Z) - Compositional 3D Human-Object Neural Animation [93.38239238988719]
人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。
本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。
我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
論文 参考訳(メタデータ) (2023-04-27T10:04:56Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - Stochastic Scene-Aware Motion Prediction [41.6104600038666]
本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。
SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
論文 参考訳(メタデータ) (2021-08-18T17:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。