論文の概要: Reconstructing Hand-Object Interactions in the Wild

• arxiv url: http://arxiv.org/abs/2012.09856v1
• Date: Thu, 17 Dec 2020 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 11:18:20.094341
• Title: Reconstructing Hand-Object Interactions in the Wild
• Title（参考訳）: 野生におけるハンドオブジェクトインタラクションの再構築
• Authors: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, Jitendra Malik
• Abstract要約: 直接3D監視を必要としない最適化手法を提案する。 利用可能なすべての関連データ(2Dバウンディングボックス、2Dハンドキーポイント、2Dインスタンスマスク、3Dオブジェクトモデル、3DインザラボMoCap)を利用して、3D再構築の制約を提供します。 本手法はEPIC Kitchens と 100 Days of Hands のデータセットから, 難易度の高いデータに対して, 説得力のある再構築を行う。
• 参考スコア（独自算出の注目度）: 71.16013096764046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we explore reconstructing hand-object interactions in the wild. The core challenge of this problem is the lack of appropriate 3D labeled data. To overcome this issue, we propose an optimization-based procedure which does not require direct 3D supervision. The general strategy we adopt is to exploit all available related data (2D bounding boxes, 2D hand keypoints, 2D instance masks, 3D object models, 3D in-the-lab MoCap) to provide constraints for the 3D reconstruction. Rather than optimizing the hand and object individually, we optimize them jointly which allows us to impose additional constraints based on hand-object contact, collision, and occlusion. Our method produces compelling reconstructions on the challenging in-the-wild data from the EPIC Kitchens and the 100 Days of Hands datasets, across a range of object categories. Quantitatively, we demonstrate that our approach compares favorably to existing approaches in the lab settings where ground truth 3D annotations are available.
• Abstract（参考訳）: 本研究では,野生におけるハンドオブジェクトインタラクションの再構築について検討する。 この問題の主な課題は、適切な3Dラベル付きデータの欠如である。 この問題を解決するために,直接3D監視を必要としない最適化手法を提案する。 私たちが採用する一般的な戦略は,利用可能なすべての関連データ(2dバウンディングボックス,2dハンドキーポイント,2dインスタンスマスク,3dオブジェクトモデル,3d in-the-lab mocap)を活用して,3d再構成の制約を提供することです。 手と物体を個別に最適化するのではなく、手オブジェクトの接触、衝突、閉塞に基づく追加の制約を課すことができるように、それらを共同で最適化する。 提案手法は,EPIC Kitchens と 100 Days of Hands のデータセットから,様々な対象カテゴリにまたがる挑戦的なデータに対して,魅力的な再構築を行う。 定量的に,我々のアプローチは,ground truth 3d アノテーションが利用可能なラボ環境における既存のアプローチと好適に比較できることを実証する。

関連論文リスト

• 3D Human Pose Estimation with Occlusions: Introducing BlendMimic3D Dataset and GCN Refinement [6.858859328420893]
  この研究は、HPE(3D Human Pose Estimation)における最先端のギャップを特定し、対処する。 BlendMimic3Dデータセットは,オクルージョンが発生している現実世界の状況を模倣するように設計されている。 また,グラフモデルによるポーズ表現を強化するために,GCN(Graph Convolutional Network)を用いた3次元ポーズ改善ブロックを提案する。
  論文  参考訳（メタデータ） (2024-04-24T18:49:37Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
  96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。 我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。 この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
  論文  参考訳（メタデータ） (2023-09-19T16:48:29Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。