論文の概要: MANUS: Markerless Hand-Object Grasp Capture using Articulated 3D Gaussians

• arxiv url: http://arxiv.org/abs/2312.02137v1
• Date: Mon, 4 Dec 2023 18:56:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 14:08:16.695746
• Title: MANUS: Markerless Hand-Object Grasp Capture using Articulated 3D Gaussians
• Title（参考訳）: manus:articulated 3d gaussianを用いたマーカーレスハンドオブジェクト把持キャプチャ
• Authors: Chandradeep Pokhariya, Ishaan N Shah, Angela Xing, Zekun Li, Kefan Chen, Avinash Sharma, Srinath Sridhar
• Abstract要約: 我々はArticulated 3D Gaussian を用いたマーカレスハンドオブジェクトグラフキャプチャー手法 MANUS を提案する。 我々は,手話の高忠実度表現のために3次元ガウススプラッティングを拡張する3次元ガウス表現を新たに構築する。 最も正確な結果を得るためには、現在のデータセットが提供していない何万ものカメラビューが必要である。そのために、30以上のシーン、3つの被写体、および700万フレーム以上からなる53台のカメラから見る手動物体の把握を含む新しいデータセットであるMANUS-Graspsを構築した。
• 参考スコア（独自算出の注目度）: 10.939366570509174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how we grasp objects with our hands has important applications in areas like robotics and mixed reality. However, this challenging problem requires accurate modeling of the contact between hands and objects. To capture grasps, existing methods use skeletons, meshes, or parametric models that can cause misalignments resulting in inaccurate contacts. We present MANUS, a method for Markerless Hand-Object Grasp Capture using Articulated 3D Gaussians. We build a novel articulated 3D Gaussians representation that extends 3D Gaussian splatting for high-fidelity representation of articulating hands. Since our representation uses Gaussian primitives, it enables us to efficiently and accurately estimate contacts between the hand and the object. For the most accurate results, our method requires tens of camera views that current datasets do not provide. We therefore build MANUS-Grasps, a new dataset that contains hand-object grasps viewed from 53 cameras across 30+ scenes, 3 subjects, and comprising over 7M frames. In addition to extensive qualitative results, we also show that our method outperforms others on a quantitative contact evaluation method that uses paint transfer from the object to the hand.
• Abstract（参考訳）: 私たちの手で物体を把握する方法を理解することは、ロボット工学や混合現実のような分野に重要な応用をもたらす。 しかし,この課題には手と物体の接触を正確にモデル化する必要がある。 把握を得るためには、既存の手法では骨格、メッシュ、あるいはパラメトリックモデルを使用しており、不正確な接触を引き起こす。 我々はArticulated 3D Gaussian を用いたマーカレスハンドオブジェクトグラフキャプチャー手法 MANUS を提案する。 我々は,手話の高忠実度表現のために3次元ガウススプラッティングを拡張する3次元ガウス表現を新たに構築する。 この表現はガウスプリミティブを用いるので、手と物体の接触を効率的に正確に推定することができる。 最も正確な結果を得るためには、現在のデータセットが提供していない何万ものカメラビューを必要とする。 そこで我々は,30以上のシーン,3つの被写体,7m以上のフレームにまたがる53台のカメラからのハンドオブジェクトの把握情報を含む,新しいデータセットmanus-graspsを構築した。 また, 対象物から手への塗料の転写を利用した定量的接触評価法において, 本手法が他者より優れていることを示す。

関連論文リスト

• HandGCAT: Occlusion-Robust 3D Hand Mesh Reconstruction from Monocular Images [9.554136347258057]
  モノクロ画像から3Dハンドメッシュを再構築するための頑健で正確な手法を提案する。 HandGCATは、隠された領域の機能を強化するために、補償情報としてハンドプレッシャを完全に活用することができる。
  論文  参考訳（メタデータ） (2024-02-27T03:40:43Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation [32.12879364117658]
  1枚のRGB画像から3Dハンドポーズを推定することは困難である。 我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。 提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-06T07:55:08Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。