論文の概要: Full-Body Articulated Human-Object Interaction

• arxiv url: http://arxiv.org/abs/2212.10621v3
• Date: Mon, 18 Dec 2023 15:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:15:53.420255
• Title: Full-Body Articulated Human-Object Interaction
• Title（参考訳）: フルボディ人工物体相互作用
• Authors: Nan Jiang, Tengyu Liu, Zhexuan Cao, Jieming Cui, Zhiyuan zhang, Yixin Chen, He Wang, Yixin Zhu, Siyuan Huang
• Abstract要約: CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
• 参考スコア（独自算出の注目度）: 61.01135739641217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained capturing of 3D HOI boosts human activity understanding and facilitates downstream visual tasks, including action recognition, holistic scene reconstruction, and human motion synthesis. Despite its significance, existing works mostly assume that humans interact with rigid objects using only a few body parts, limiting their scope. In this paper, we address the challenging problem of f-AHOI, wherein the whole human bodies interact with articulated objects, whose parts are connected by movable joints. We present CHAIRS, a large-scale motion-captured f-AHOI dataset, consisting of 16.2 hours of versatile interactions between 46 participants and 81 articulated and rigid sittable objects. CHAIRS provides 3D meshes of both humans and articulated objects during the entire interactive process, as well as realistic and physically plausible full-body interactions. We show the value of CHAIRS with object pose estimation. By learning the geometrical relationships in HOI, we devise the very first model that leverage human pose estimation to tackle the estimation of articulated object poses and shapes during whole-body interactions. Given an image and an estimated human pose, our model first reconstructs the pose and shape of the object, then optimizes the reconstruction according to a learned interaction prior. Under both evaluation settings (e.g., with or without the knowledge of objects' geometries/structures), our model significantly outperforms baselines. We hope CHAIRS will promote the community towards finer-grained interaction understanding. We will make the data/code publicly available.
• Abstract（参考訳）: 3D HOIのきめ細かいキャプチャは、人間の活動理解を促進し、アクション認識、全体像再構成、人間の動き合成を含む下流の視覚タスクを促進する。 その重要性にもかかわらず、既存の研究は人間の身体の一部だけを使って剛体物体と相互作用し、その範囲を制限していると仮定している。 本稿では,人体全体が関節のある物体と相互作用し,部品が可動関節で接続されるという,f-AHOIの課題に対処する。 46人の参加者と81人の定性的・剛性的な物体の間の16.2時間の多目的相互作用からなる大規模な動きキャプチャーf-AHOIデータセットであるCHAIRSを提案する。 CHAIRSは、対話的なプロセス全体を通して、人間と関節のある物体の両方の3Dメッシュを提供する。 オブジェクトポーズ推定によるCHAIRSの値を示す。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を生かした最初のモデルを考案し,人体間相互作用における物体のポーズと形状の推定に挑戦する。 画像と推定された人間のポーズを与えられたモデルでは、まず物体のポーズと形状を再構築し、学習したインタラクションに従って再構築を最適化する。 両方の評価設定(例えば、オブジェクトのジオメトリ/構造に関する知識の有無)の下で、我々のモデルはベースラインを著しく上回る。 CHAIRSは、よりきめ細かいインタラクション理解に向けて、コミュニティを促進することを願っています。 データ/コードは公開します。

関連論文リスト

• ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions [11.32229757116179]
  そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。 ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
  論文  参考訳（メタデータ） (2024-01-18T18:59:58Z)
• RHOBIN Challenge: Reconstruction of Human Object Interaction [83.07185402102253]
  最初のRHOBINチャレンジ:RHOBINワークショップと連携して人間と物体の相互作用を再構築する。 我々の課題は、単眼のRGB画像から3D再構成する3つのトラックで構成され、困難な相互作用シナリオに対処することに焦点を当てている。 本稿では,課題の設定について述べるとともに,各トラックの入賞方法についてより詳細に述べる。
  論文  参考訳（メタデータ） (2024-01-07T23:37:07Z)
• LEMON: Learning 3D Human-Object Interaction Relation from 2D Images [56.6123961391372]
  人間の物体と物体の相互作用関係の学習は、AIと相互作用モデリングの具体化に不可欠である。 既存のほとんどの手法は、孤立した相互作用要素を予測することを学ぶことで目標に近づいている。 本稿では,相互の相互作用意図をマイニングし,幾何相関の抽出を導出するための曲率を用いた統一モデルLEMONを提案する。
  論文  参考訳（メタデータ） (2023-12-14T14:10:57Z)
• CG-HOI: Contact-Guided 3D Human-Object Interaction Generation [29.3564427724612]
  テキストから動的3次元人-物体相互作用(HOI)を生成する最初の方法であるCG-HOIを提案する。 意味的に豊かな人間の動きは、しばしば孤立して起こるので、人間と物体の両方の動きを相互依存的にモデル化する。 我々は,接触に基づく人間と物体の相互作用が現実的かつ物理的に妥当なシーケンスを生成することを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:59:10Z)
• Anthropomorphic Grasping with Neural Object Shape Completion [20.952799332420195]
  人間は、オブジェクトを扱うときに異常な器用さを示します。 手の姿勢は、把握すべき対象に対する特定の領域の影響を一般的に示している。 本研究では、部分的な観察から全幾何学を再構築し、完成させることにより、人間のような物体の理解を活用する。
  論文  参考訳（メタデータ） (2023-11-04T21:05:26Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)
• Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
  本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。 動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2022-06-25T09:55:39Z)
• THORN: Temporal Human-Object Relation Network for Action Recognition [3.6704226968275258]
  ほとんどの行動認識モデルは、人間の活動が一つの出来事として扱われる。 本稿では,行動を定義するインタラクションの集合を活用することによって,人間の行動を認識することを提案する。 我々は、重要な人・物・物間の相互作用を利用して行動を予測するエンド・ツー・エンドのネットワークTHORNを提案する。
  論文  参考訳（メタデータ） (2022-04-20T14:00:24Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• Object Properties Inferring from and Transfer for Human Interaction Motions [51.896592493436984]
  本稿では,人間のインタラクション動作のみからオブジェクト特性を推測する,きめ細かい動作認識手法を提案する。 我々は、慣性モーションキャプチャー装置を用いて、演奏者の多数のビデオと3D骨格の動きを収集する。 特に, 相互作用対象の重み, 脆弱性, デリカシーを推定することにより, 相互作用対象の同定を学習する。
  論文  参考訳（メタデータ） (2020-08-20T14:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。