論文の概要: Visually plausible human-object interaction capture from wearable sensors

• arxiv url: http://arxiv.org/abs/2205.02830v1
• Date: Thu, 5 May 2022 17:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 14:52:48.715691
• Title: Visually plausible human-object interaction capture from wearable sensors
• Title（参考訳）: ウェアラブルセンサーによる視覚的可視性人間と物体のインタラクションキャプチャ
• Authors: Vladimir Guzov, Torsten Sattler, Gerard Pons-Moll
• Abstract要約: オブジェクトをドラッグしたり、エゴ中心のデータのみからドアを開くといったインタラクションをキャプチャする最初の方法であるHOPSを提案する。 我々の手法の中心は、人間と物体の相互作用を推論することであり、ヘッドカメラから見えなくても物体を追跡できる。 HOPSは没入型仮想宇宙に基づく高度なAR/VRアプリケーションに向けた重要な第一歩である。
• 参考スコア（独自算出の注目度）: 77.75534579468335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In everyday lives, humans naturally modify the surrounding environment through interactions, e.g., moving a chair to sit on it. To reproduce such interactions in virtual spaces (e.g., metaverse), we need to be able to capture and model them, including changes in the scene geometry, ideally from ego-centric input alone (head camera and body-worn inertial sensors). This is an extremely hard problem, especially since the object/scene might not be visible from the head camera (e.g., a human not looking at a chair while sitting down, or not looking at the door handle while opening a door). In this paper, we present HOPS, the first method to capture interactions such as dragging objects and opening doors from ego-centric data alone. Central to our method is reasoning about human-object interactions, allowing to track objects even when they are not visible from the head camera. HOPS localizes and registers both the human and the dynamic object in a pre-scanned static scene. HOPS is an important first step towards advanced AR/VR applications based on immersive virtual universes, and can provide human-centric training data to teach machines to interact with their surroundings. The supplementary video, data, and code will be available on our project page at http://virtualhumans.mpi-inf.mpg.de/hops/
• Abstract（参考訳）: 日常生活では、人間が椅子を動かして座るなど、相互作用を通じて周囲の環境を自然に変える。 このような相互作用を仮想空間(メタバースなど)で再現するには、理想的にはエゴ中心の入力(ヘッドカメラとボディウーンの慣性センサー)からシーン形状の変化を含む、それらをキャプチャしてモデル化する必要がある。 これは非常に難しい問題であり、特に、被写体/シーンがヘッドカメラから見えない(例えば、人が座っている間椅子を見ていない、ドアを開けている間ドアハンドルを見ていないなど)ためである。 本稿では,エゴ中心のデータのみからオブジェクトのドラッグやドアの開放などのインタラクションをキャプチャする最初の方法であるHOPSを提案する。 我々の手法の中心は、人間と物体の相互作用の推論であり、ヘッドカメラから見えなくても物体を追跡できる。 HOPSは、スキャン済みの静的シーンにおいて、人間と動的オブジェクトの両方をローカライズし、登録する。 HOPSは没入型仮想宇宙に基づく高度なAR/VRアプリケーションに向けた重要な第一歩であり、マシンに周囲との対話を教えるための人間中心のトレーニングデータを提供することができる。 補足的なビデオ、データ、コードは、プロジェクトページhttp://virtualhumans.mpi-inf.mpg.de/hops/で閲覧できます。

関連論文リスト

• Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction [9.806227900768926]
  本稿では,共有ロボット表現空間における社会的動き予測のモデル化を提案する。 ECHOは上記の共有空間で活動し、社会的シナリオで遭遇したエージェントの将来の動きを予測する。 我々は,多対人動作予測タスクにおけるモデルの評価を行い,最先端の性能を大きなマージンで獲得する。
  論文  参考訳（メタデータ） (2024-02-07T11:37:14Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis [21.650091018774972]
  我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。 この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。 いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-14T17:59:38Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• Stochastic Scene-Aware Motion Prediction [41.6104600038666]
  本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。 SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
  論文  参考訳（メタデータ） (2021-08-18T17:56:17Z)
• Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
  そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。 私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。 学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
  論文  参考訳（メタデータ） (2020-03-20T16:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。