論文の概要: Human-Aware Object Placement for Visual Environment Reconstruction

• arxiv url: http://arxiv.org/abs/2203.03609v1
• Date: Mon, 7 Mar 2022 18:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:49:28.951253
• Title: Human-Aware Object Placement for Visual Environment Reconstruction
• Title（参考訳）: 視覚環境再構築のためのヒューマンアウェアオブジェクト配置
• Authors: Hongwei Yi and Chun-Hao P. Huang and Dimitrios Tzionas and Muhammed Kocabas and Mohamed Hassan and Siyu Tang and Justus Thies and Michael J. Black
• Abstract要約: 我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
• 参考スコア（独自算出の注目度）: 63.14733166375534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans are in constant contact with the world as they move through it and interact with it. This contact is a vital source of information for understanding 3D humans, 3D scenes, and the interactions between them. In fact, we demonstrate that these human-scene interactions (HSIs) can be leveraged to improve the 3D reconstruction of a scene from a monocular RGB video. Our key idea is that, as a person moves through a scene and interacts with it, we accumulate HSIs across multiple input images, and optimize the 3D scene to reconstruct a consistent, physically plausible and functional 3D scene layout. Our optimization-based approach exploits three types of HSI constraints: (1) humans that move in a scene are occluded or occlude objects, thus, defining the depth ordering of the objects, (2) humans move through free space and do not interpenetrate objects, (3) when humans and objects are in contact, the contact surfaces occupy the same place in space. Using these constraints in an optimization formulation across all observations, we significantly improve the 3D scene layout reconstruction. Furthermore, we show that our scene reconstruction can be used to refine the initial 3D human pose and shape (HPS) estimation. We evaluate the 3D scene layout reconstruction and HPS estimation qualitatively and quantitatively using the PROX and PiGraphs datasets. The code and data are available for research purposes at https://mover.is.tue.mpg.de/.
• Abstract（参考訳）: 人間は、地球を通り抜け、それと対話するときに、常に世界と接触している。 この接触は、3D人間、3Dシーン、そしてそれらの相互作用を理解するための重要な情報源である。 実際、これらのヒューマン・シーン・インタラクション(HSI)は、モノクラーRGBビデオからシーンの3D再構成を改善するために有効であることを示す。 私たちの重要なアイデアは、ある人物がシーンを移動してそれと相互作用すると、複数の入力画像にhsisを蓄積し、3dシーンを最適化し、一貫性があり、物理的に妥当で機能的な3dシーンレイアウトを再構築することです。 最適化に基づくアプローチでは,(1)シーン内を移動する人間は物体を遮蔽または遮蔽する,(2)被写体の奥行き順序を定義する,(2)自由空間を移動して物体を貫通しない,(3)人間と物体が接触する場合,接触面は空間内で同じ位置を占める,という3つのhsi制約を利用する。 これらの制約を全観察の最適化定式化に利用することにより,3次元シーンレイアウトの再構成を著しく改善した。 さらに,初期3次元人間のポーズ・形状推定(HPS)の精度向上に,シーン再構築が有効であることを示す。 ProXおよびPiGraphsデータセットを用いて3次元シーンレイアウトの再構築とHPS推定を質的,定量的に評価した。 コードとデータは、https://mover.is.tue.mpg.de/で研究目的に利用できる。

関連論文リスト

• Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
  本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。 本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
  論文  参考訳（メタデータ） (2024-04-07T06:01:49Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• Physically Plausible 3D Human-Scene Reconstruction from Monocular RGB Image using an Adversarial Learning Approach [26.827712050966]
  総合的な3次元人間シーン再構築の鍵となる課題は、単一の単眼RGB画像から物理的に可視な3Dシーンを生成することである。 本稿では、シーン要素の暗黙的特徴表現を用いて、人間と物体の物理的に妥当なアライメントを識別する。 既存の推論時間最適化手法とは異なり、この逆向きに訓練されたモデルを用いてシーンのフレームごとの3D再構成を行う。
  論文  参考訳（メタデータ） (2023-07-27T01:07:15Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Populating 3D Scenes by Learning Human-Scene Interaction [47.42049393299]
  私たちは、人間がシーンと対話する方法を学び、これを活用して、仮想文字を同じことを可能にします。 相互作用の表現は体中心であり、新しいシーンに一般化することができる。 我々は,POSAが学習した身体とシーンの相互作用の表現が,単眼の人間のポーズ推定を支援することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:57:55Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)
• Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild [96.08358373137438]
  本研究では,世界規模で一貫した3Dシーンにおいて,人間や物体の空間的配置や形状を推定する手法を提案する。 本手法は,シーンレベルやオブジェクトレベルの3D監視を必要とせず,データセット上で動作させる。
  論文  参考訳（メタデータ） (2020-07-30T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。