論文の概要: ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction from a Single Depth Map

• arxiv url: http://arxiv.org/abs/2310.11811v2
• Date: Wed, 02 Oct 2024 07:54:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:13.221572
• Title: ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction from a Single Depth Map
• Title（参考訳）: ShapeGraFormer: 単一深さマップからの手動オブジェクト再構成のためのGraFormerベースのネットワーク
• Authors: Ahmed Tawfik Aboukhadra, Jameel Malik, Nadia Robertini, Ahmed Elhayek, Didier Stricker,
• Abstract要約: そこで本研究では, 現実的な3次元物体形状に対する最初のアプローチを提案し, 一つの深度マップから復元する。 我々のパイプラインは、入力されたボキセル化深度に1対1のマッピングを持つ、ボキセル化ハンドオブジェクト形状も予測する。 さらに、手動オブジェクトの相互作用に基づいて再構成された形状を洗練する別のGraFormerコンポーネントを追加する影響を示す。
• 参考スコア（独自算出の注目度）: 11.874184782686532
• License:
• Abstract: 3D reconstruction of hand-object manipulations is important for emulating human actions. Most methods dealing with challenging object manipulation scenarios, focus on hands reconstruction in isolation, ignoring physical and kinematic constraints due to object contact. Some approaches produce more realistic results by jointly reconstructing 3D hand-object interactions. However, they focus on coarse pose estimation or rely upon known hand and object shapes. We propose the first approach for realistic 3D hand-object shape and pose reconstruction from a single depth map. Unlike previous work, our voxel-based reconstruction network regresses the vertex coordinates of a hand and an object and reconstructs more realistic interaction. Our pipeline additionally predicts voxelized hand-object shapes, having a one-to-one mapping to the input voxelized depth. Thereafter, we exploit the graph nature of the hand and object shapes, by utilizing the recent GraFormer network with positional embedding to reconstruct shapes from template meshes. In addition, we show the impact of adding another GraFormer component that refines the reconstructed shapes based on the hand-object interactions and its ability to reconstruct more accurate object shapes. We perform an extensive evaluation on the HO-3D and DexYCB datasets and show that our method outperforms existing approaches in hand reconstruction and produces plausible reconstructions for the objects
• Abstract（参考訳）: 人間の動作をエミュレートするためには,手指操作の3次元再構築が重要である。 難易度の高いオブジェクト操作シナリオを扱うほとんどの手法は、オブジェクト接触による物理的および運動的制約を無視しながら、単独で手再構成に焦点を当てている。 いくつかのアプローチは、3Dハンドオブジェクトインタラクションを共同で再構築することで、より現実的な結果をもたらす。 しかし、それらは粗いポーズの推定や、既知の手や物体の形に依存している。 そこで本研究では, 現実的な3次元物体形状に対する最初のアプローチを提案し, 一つの深度マップから復元する。 従来の作業とは異なり、我々のボクセルベースの再構成ネットワークは、手と物体の頂点座標を後退させ、より現実的な相互作用を再構築する。 我々のパイプラインは、入力されたボキセル化深度に1対1のマッピングを持つ、ボキセル化ハンドオブジェクト形状も予測する。 その後,最近のGraFormerネットワークを利用してテンプレートメッシュから形状を再構築し,手形と物体形状のグラフ特性を利用する。 さらに,手動物体の相互作用に基づいて再構成された形状を改良するGraFormerコンポーネントの追加と,より正確な形状を再構築する能力について述べる。 HO-3D と DexYCB のデータセットを広範囲に評価し,本手法が手指再建における既存手法よりも優れていることを示す。

関連論文リスト

• Floating No More: Object-Ground Reconstruction from a Single Image [33.34421517827975]
  本研究では,3次元物体形状の再構成を目的とした新しい作業であるORG(Object Restruction with Ground)を紹介する。 提案手法では,2つのコンパクトなピクセルレベル表現を用いて,カメラ,オブジェクト,グラウンドの関係を表現している。
  論文  参考訳（メタデータ） (2024-07-26T17:59:56Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Reconstructing Hand-Held Objects from Monocular Video [95.06750686508315]
  本稿では,モノクロ映像から手持ち物体を再構成する手法を提案する。 トレーニングされたネットワークによってオブジェクトの幾何学を直接予測する最近の多くの手法とは対照的に、提案手法ではオブジェクトに先行する学習を一切必要としない。
  論文  参考訳（メタデータ） (2022-11-30T09:14:58Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• A Divide et Impera Approach for 3D Shape Reconstruction from Multiple Views [49.03830902235915]
  物体の3次元形状を1つまたは複数の画像から推定することは、最近のディープラーニングによるブレークスルーによって人気を集めている。 本稿では,与えられた視点からの可視情報を統合することで,視点変化の再構築に頼ることを提案する。 提案手法を検証するために,相対的なポーズ推定と3次元形状再構成の観点から,ShapeNet参照ベンチマークの総合評価を行った。
  論文  参考訳（メタデータ） (2020-11-17T09:59:32Z)
• Reconstruct, Rasterize and Backprop: Dense shape and pose estimation from a single image [14.9851111159799]
  本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。 我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2020-04-25T20:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。