論文の概要: Interaction Replica: Tracking human-object interaction and scene changes from human motion

• arxiv url: http://arxiv.org/abs/2205.02830v2
• Date: Thu, 30 Mar 2023 13:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 18:28:48.302391
• Title: Interaction Replica: Tracking human-object interaction and scene changes from human motion
• Title（参考訳）: インタラクション・レプリカ:人間と物体の相互作用とシーンの変化を追跡する
• Authors: Vladimir Guzov, Julian Chibane, Riccardo Marin, Torsten Sattler, Gerard Pons-Moll
• Abstract要約: iReplicaは、人間の動きのみに基づいて物体やシーンの変化を追跡する、初めての人間と物体の相互作用推論手法である。 私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されます。
• 参考スコア（独自算出の注目度）: 71.58655531355575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans naturally change their environment through interactions, e.g., by opening doors or moving furniture. To reproduce such interactions in virtual spaces (e.g., metaverse), we need to capture and model them, including changes in the scene geometry, ideally from egocentric input alone (head camera and body-worn inertial sensors). While the head camera can be used to localize the person in the scene, estimating dynamic object pose is much more challenging. As the object is often not visible from the head camera (e.g., a human not looking at a chair while sitting down), we can not rely on visual object pose estimation. Instead, our key observation is that human motion tells us a lot about scene changes. Motivated by this, we present iReplica, the first human-object interaction reasoning method which can track objects and scene changes based solely on human motion. iReplica is an essential first step towards advanced AR/VR applications in immersive virtual universes and can provide human-centric training data to teach machines to interact with their surroundings. Our code, data and model will be available on our project page at http://virtualhumans.mpi-inf.mpg.de/ireplica/
• Abstract（参考訳）: 人間は、例えばドアを開いたり家具を動かしたりすることで、対話を通じて自然に環境を変える。 このような相互作用を仮想空間(メタバースなど)で再現するには、シーン形状の変化を含む、理想的には自我中心の入力(ヘッドカメラとボディウーンの慣性センサー)をキャプチャしてモデル化する必要がある。 ヘッドカメラはシーン内の人物をローカライズするのに使えるが、ダイナミックなオブジェクトのポーズを推定するのはずっと難しい。 被写体は、しばしばヘッドカメラから見えないため(例えば、座っている間椅子を見ていない人間)、視覚的な物体のポーズ推定に頼ることはできない。 その代わり、人間の動きがシーンの変化について多くのことを教えてくれます。 そこで本研究では,人間の動きのみに基づく物体やシーンの変化をトラッキングできる,最初の人間と物体の相互作用推論手法iReplicaを提案する。 iReplicaは没入型仮想空間における高度なAR/VRアプリケーションに向けた重要な第一歩であり、マシンが周囲と対話するための人間中心のトレーニングデータを提供する。 私たちのコード、データ、モデルはプロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/で公開されます。

関連論文リスト

• Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction [9.806227900768926]
  本稿では,共有ロボット表現空間における社会的動き予測のモデル化を提案する。 ECHOは上記の共有空間で活動し、社会的シナリオで遭遇したエージェントの将来の動きを予測する。 我々は,多対人動作予測タスクにおけるモデルの評価を行い,最先端の性能を大きなマージンで獲得する。
  論文  参考訳（メタデータ） (2024-02-07T11:37:14Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis [21.650091018774972]
  我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。 この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。 いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-14T17:59:38Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• Stochastic Scene-Aware Motion Prediction [41.6104600038666]
  本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。 SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
  論文  参考訳（メタデータ） (2021-08-18T17:56:17Z)
• Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
  そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。 私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。 学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
  論文  参考訳（メタデータ） (2020-03-20T16:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。