論文の概要: ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction from a Single Depth Map

• arxiv url: http://arxiv.org/abs/2310.11811v1
• Date: Wed, 18 Oct 2023 09:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 17:18:40.605726
• Title: ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction from a Single Depth Map
• Title（参考訳）: shapegraformer:graformerベースの単一深度マップからのハンドオブジェクト再構成ネットワーク
• Authors: Ahmed Tawfik Aboukhadra, Jameel Malik, Nadia Robertini, Ahmed Elhayek, Didier Stricker
• Abstract要約: そこで本研究では, 現実的な3次元物体形状に対する最初のアプローチを提案し, 一つの深度マップから復元する。 我々のパイプラインは、入力されたボキセル化深度に1対1のマッピングを持つ、ボキセル化ハンドオブジェクト形状も予測する。 さらに、手動オブジェクトの相互作用に基づいて再構成された形状を洗練する別のGraFormerコンポーネントを追加する影響を示す。
• 参考スコア（独自算出の注目度）: 12.73917110250151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D reconstruction of hand-object manipulations is important for emulating human actions. Most methods dealing with challenging object manipulation scenarios, focus on hands reconstruction in isolation, ignoring physical and kinematic constraints due to object contact. Some approaches produce more realistic results by jointly reconstructing 3D hand-object interactions. However, they focus on coarse pose estimation or rely upon known hand and object shapes. We propose the first approach for realistic 3D hand-object shape and pose reconstruction from a single depth map. Unlike previous work, our voxel-based reconstruction network regresses the vertex coordinates of a hand and an object and reconstructs more realistic interaction. Our pipeline additionally predicts voxelized hand-object shapes, having a one-to-one mapping to the input voxelized depth. Thereafter, we exploit the graph nature of the hand and object shapes, by utilizing the recent GraFormer network with positional embedding to reconstruct shapes from template meshes. In addition, we show the impact of adding another GraFormer component that refines the reconstructed shapes based on the hand-object interactions and its ability to reconstruct more accurate object shapes. We perform an extensive evaluation on the HO-3D and DexYCB datasets and show that our method outperforms existing approaches in hand reconstruction and produces plausible reconstructions for the objects
• Abstract（参考訳）: 人間の動作をエミュレートするためには,手指操作の3次元再構築が重要である。 問題のあるオブジェクト操作シナリオを扱うほとんどのメソッドは、分離されたハンドレコンストラクションにフォーカスし、オブジェクトの接触による物理的および運動的な制約を無視している。 いくつかのアプローチは、3Dハンドオブジェクトの相互作用を共同で再構築することでより現実的な結果をもたらす。 しかし、それらは粗いポーズ推定にフォーカスするか、既知の手や物体の形状に依存する。 そこで本研究では, 現実的な3次元物体形状に対する最初のアプローチを提案する。 従来の作業とは異なり、我々のボクセルベースの再構成ネットワークは、手と物体の頂点座標を後退させ、より現実的な相互作用を再構築する。 当社のパイプラインではさらに,入力されたvoxelized深度への1対1マッピングによって,voxelizedハンドオブジェクト形状を予測しています。 その後,最近のグラフォーマネットワークと位置埋め込みを利用して,テンプレートメッシュから形状を再構成することで,手と物体の形状のグラフ性を活用する。 さらに,手動物体の相互作用に基づいて再構成された形状を改良するGraFormerコンポーネントの追加と,より正確な形状を再構築する能力について述べる。 HO-3D と DexYCB のデータセットを広範囲に評価し,本手法が手指再建における既存手法よりも優れていることを示す。

関連論文リスト

• EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
  本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。 まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。 最初の再構築では、事前に誘導された最適化方式を採用する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:35Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Reconstructing Hand-Held Objects from Monocular Video [95.06750686508315]
  本稿では,モノクロ映像から手持ち物体を再構成する手法を提案する。 トレーニングされたネットワークによってオブジェクトの幾何学を直接予測する最近の多くの手法とは対照的に、提案手法ではオブジェクトに先行する学習を一切必要としない。
  論文  参考訳（メタデータ） (2022-11-30T09:14:58Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Reconstruct, Rasterize and Backprop: Dense shape and pose estimation from a single image [14.9851111159799]
  本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。 我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2020-04-25T20:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。