論文の概要: DECO: Dense Estimation of 3D Human-Scene Contact In The Wild

• arxiv url: http://arxiv.org/abs/2309.15273v1
• Date: Tue, 26 Sep 2023 21:21:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 17:39:02.986254
• Title: DECO: Dense Estimation of 3D Human-Scene Contact In The Wild
• Title（参考訳）: DECO:野生の人間の3D接触の密度推定
• Authors: Shashank Tripathi, Agniv Chatterjee, Jean-Claude Passy, Hongwei Yi, Dimitrios Tzionas, Michael J. Black
• Abstract要約: SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
• 参考スコア（独自算出の注目度）: 54.44345845842109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how humans use physical contact to interact with the world is key to enabling human-centric artificial intelligence. While inferring 3D contact is crucial for modeling realistic and physically-plausible human-object interactions, existing methods either focus on 2D, consider body joints rather than the surface, use coarse 3D body regions, or do not generalize to in-the-wild images. In contrast, we focus on inferring dense, 3D contact between the full body surface and objects in arbitrary images. To achieve this, we first collect DAMON, a new dataset containing dense vertex-level contact annotations paired with RGB images containing complex human-object and human-scene contact. Second, we train DECO, a novel 3D contact detector that uses both body-part-driven and scene-context-driven attention to estimate vertex-level contact on the SMPL body. DECO builds on the insight that human observers recognize contact by reasoning about the contacting body parts, their proximity to scene objects, and the surrounding scene context. We perform extensive evaluations of our detector on DAMON as well as on the RICH and BEHAVE datasets. We significantly outperform existing SOTA methods across all benchmarks. We also show qualitatively that DECO generalizes well to diverse and challenging real-world human interactions in natural images. The code, data, and models are available at https://deco.is.tue.mpg.de.
• Abstract（参考訳）: 人間が物理的接触を使って世界と対話する方法を理解することが、人間中心の人工知能を実現する鍵となる。 3d接触を推測することは、現実的で物理的に目立たない人間と物体の相互作用をモデル化するのに不可欠であるが、既存の方法は2dにフォーカスするか、表面ではなく身体関節を考えるか、粗い3dボディ領域を使うか、野生のイメージに一般化しないかのどちらかである。 対照的に、物体と体表面の密接な3次元接触を任意の画像で推定することに焦点を当てる。 そこで我々はまず,複雑な人間オブジェクトと人間シーンの接触を含むRGB画像と組み合わせた高密度頂点レベルの接触アノテーションを含む新しいデータセットDAMONを収集した。 次に,ボディパート駆動とシーンコンテキスト駆動の両方の注意を駆使して,smplボディの頂点レベル接触を推定する,新しい3次元接触検出器decoをトレーニングする。 DECOは、人間の観察者が接触する身体部分、シーンオブジェクトへの近接、周囲のシーンコンテキストについて推論することで、接触を認識するという知見に基づいている。 我々は,DAMONとRICHおよびBEHAVEデータセット上で,検出器の広範囲な評価を行う。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間との相互作用を一般化することを示す。 コード、データ、モデルはhttps://deco.is.tue.mpg.deで入手できる。

関連論文リスト

• Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
  本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。 本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
  論文  参考訳（メタデータ） (2024-04-07T06:01:49Z)
• Detecting Human-Object Contact in Images [75.35017308643471]
  人間は常にオブジェクトに接触し、タスクを動かします。 画像から身体とシーンの接触を検出する堅牢な方法はない。 我々は、画像のための人間と物体の接触のデータセットを新たに構築する。
  論文  参考訳（メタデータ） (2023-03-06T18:56:26Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Capturing and Inferring Dense Full-Body Human-Scene Contact [40.29636308110822]
  我々は、単一のRGB画像から高密度のボディシーン接触を予測するネットワークを訓練する。 このような非局所的な関係を学習するためにトランスフォーマーを使用し、BSTRO(Body-Scene Contact TRansfOrmer)を提案する。 我々の知る限り、BSTROは1枚の画像から3Dボディシーンの接触を直接推定する最初の方法である。
  論文  参考訳（メタデータ） (2022-06-20T03:31:00Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)
• Detailed 2D-3D Joint Representation for Human-Object Interaction [45.71407935014447]
  HOI学習のための2次元3次元共同表現学習法を提案する。 まず, 単視点の人体捕捉法を用いて, 3次元体, 顔, 手の形状を詳細に把握する。 次に,3次元オブジェクトの位置と大きさを,2次元オブジェクト空間構成と対象カテゴリーの先行点から推定する。
  論文  参考訳（メタデータ） (2020-04-17T10:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。