論文の概要: HOI-M3:Capture Multiple Humans and Objects Interaction within Contextual Environment

• arxiv url: http://arxiv.org/abs/2404.00299v2
• Date: Tue, 2 Apr 2024 12:34:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 04:30:18.835760
• Title: HOI-M3:Capture Multiple Humans and Objects Interaction within Contextual Environment
• Title（参考訳）: HOI-M3: コンテキスト環境における複数の人間と物体の相互作用
• Authors: Juze Zhang, Jingyan Zhang, Zining Song, Zhanhe Shi, Chengfeng Zhao, Ye Shi, Jingyi Yu, Lan Xu, Jingya Wang,
• Abstract要約: HOI-M3は、複数のhumanと複数のオブジェクトの相互作用をモデル化するための、新しい大規模データセットである。 密集したRGBとオブジェクト搭載IMU入力から、人間と物体の両方の正確な3Dトラッキングを提供する。
• 参考スコア（独自算出の注目度）: 43.6454394625555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans naturally interact with both others and the surrounding multiple objects, engaging in various social activities. However, recent advances in modeling human-object interactions mostly focus on perceiving isolated individuals and objects, due to fundamental data scarcity. In this paper, we introduce HOI-M3, a novel large-scale dataset for modeling the interactions of Multiple huMans and Multiple objects. Notably, it provides accurate 3D tracking for both humans and objects from dense RGB and object-mounted IMU inputs, covering 199 sequences and 181M frames of diverse humans and objects under rich activities. With the unique HOI-M3 dataset, we introduce two novel data-driven tasks with companion strong baselines: monocular capture and unstructured generation of multiple human-object interactions. Extensive experiments demonstrate that our dataset is challenging and worthy of further research about multiple human-object interactions and behavior analysis. Our HOI-M3 dataset, corresponding codes, and pre-trained models will be disseminated to the community for future research.
• Abstract（参考訳）: 人間は自然に他者と周囲の複数の物体と相互作用し、様々な社会活動に従事している。 しかし、人間と物体の相互作用をモデル化する最近の進歩は、基本的なデータ不足のため、主に孤立した個人や物体を知覚することに焦点を当てている。 本稿では,複数のhumanと複数オブジェクトの相互作用をモデル化する新しい大規模データセットであるHOI-M3を紹介する。 特に、高密度のRGBとオブジェクトマウントIMU入力から、人間とオブジェクトの両方の正確な3D追跡を提供し、199のシーケンスと181Mの多種多様な人間とオブジェクトを、リッチな活動下でカバーしている。 ユニークなHOI-M3データセットでは、モノクロキャプチャーと非構造化された複数オブジェクトの相互作用の生成という、強力なベースラインを持つ2つの新しいデータ駆動タスクを導入する。 大規模な実験により、我々のデータセットは困難であり、複数の人間と物体の相互作用と行動分析に関するさらなる研究に値することが示されている。 私たちのHOI-M3データセット、対応するコード、事前訓練されたモデルは、今後の研究のためにコミュニティに配布されます。

関連論文リスト

• HIMO: A New Benchmark for Full-Body Human Interacting with Multiple Objects [86.86284624825356]
  HIMOは、複数のオブジェクトと相互作用するフルボディの人間のデータセットである。 HIMOは3.3K 4D HOIシーケンスと4.08M 3D HOIフレームを含む。
  論文  参考訳（メタデータ） (2024-07-17T07:47:34Z)
• ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions [11.32229757116179]
  そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。 ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
  論文  参考訳（メタデータ） (2024-01-18T18:59:58Z)
• LEMON: Learning 3D Human-Object Interaction Relation from 2D Images [56.6123961391372]
  人間の物体と物体の相互作用関係の学習は、AIと相互作用モデリングの具体化に不可欠である。 既存のほとんどの手法は、孤立した相互作用要素を予測することを学ぶことで目標に近づいている。 本稿では,相互の相互作用意図をマイニングし,幾何相関の抽出を導出するための曲率を用いた統一モデルLEMONを提案する。
  論文  参考訳（メタデータ） (2023-12-14T14:10:57Z)
• Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation [38.08445005326031]
  提案するProciGenは,多種多様なオブジェクトの相互作用と対話性の両方で,プロシージャ的にデータセットを生成する。 我々は3Dで1M以上の人間と物体の相互作用ペアを生成し、この大規模データを利用してHDM(Procedural Diffusion Model)を訓練する。 我々のHDMは、現実的な相互作用と高精度な人間と物体の形状の両方を学習する画像条件拡散モデルである。
  論文  参考訳（メタデータ） (2023-12-12T08:32:55Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
  本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。 動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2022-06-25T09:55:39Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。