論文の概要: HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable
Objects
- arxiv url: http://arxiv.org/abs/2301.07652v1
- Date: Wed, 18 Jan 2023 16:55:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 15:14:27.650994
- Title: HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable
Objects
- Title(参考訳): hmdo: 変形可能なオブジェクトによるマーカーレスマルチビューハンド操作キャプチャ
- Authors: Wei Xie, Zhipeng Yu, Zimeng Zhao, Binghui Zuo, Yangang Wang
- Abstract要約: HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。
提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
- 参考スコア(独自算出の注目度): 8.711239906965893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We construct the first markerless deformable interaction dataset recording
interactive motions of the hands and deformable objects, called HMDO (Hand
Manipulation with Deformable Objects). With our built multi-view capture
system, it captures the deformable interactions with multiple perspectives,
various object shapes, and diverse interactive forms. Our motivation is the
current lack of hand and deformable object interaction datasets, as 3D hand and
deformable object reconstruction is challenging. Mainly due to mutual
occlusion, the interaction area is difficult to observe, the visual features
between the hand and the object are entangled, and the reconstruction of the
interaction area deformation is difficult. To tackle this challenge, we propose
a method to annotate our captured data. Our key idea is to collaborate with
estimated hand features to guide the object global pose estimation, and then
optimize the deformation process of the object by analyzing the relationship
between the hand and the object. Through comprehensive evaluation, the proposed
method can reconstruct interactive motions of hands and deformable objects with
high quality. HMDO currently consists of 21600 frames over 12 sequences. In the
future, this dataset could boost the research of learning-based reconstruction
of deformable interaction scenes.
- Abstract(参考訳): HMDO(Hand Manipulation with Deformable Objects)と呼ばれる手と手の動きを対話的に記録する最初のマーカーレス変形型相互作用データセットを構築した。
構築したマルチビューキャプチャシステムにより、複数の視点、さまざまなオブジェクト形状、多様なインタラクティブなフォームとの変形可能な相互作用をキャプチャする。
私たちのモチベーションは、手と変形可能なオブジェクトインタラクションデータセットが現在の欠如していることにあります。
主に相互咬合のため、相互作用領域の観察が困難であり、手と物体の視覚的な特徴が絡み合っており、相互作用領域の変形の再構築が困難である。
この課題に取り組むために,我々はキャプチャしたデータをアノテートする手法を提案する。
我々のキーとなる考え方は、オブジェクトのグローバルポーズ推定を導くために、推定手の特徴と協調して、手とオブジェクトの関係を分析することによって、オブジェクトの変形過程を最適化することである。
包括的評価により,手と変形可能な物体の対話動作を高品質に再現することができる。
HMDOは現在、12列以上の21600フレームで構成されている。
将来的には、このデータセットは、変形可能なインタラクションシーンの学習に基づく再構築の研究を促進するだろう。
関連論文リスト
- Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction [8.253265795150401]
本稿では,3Dにおける手-物間相互作用のシーケンスを生成するための最初のテキスト誘導作業について紹介する。
接触生成のために、VAEベースのネットワークはテキストとオブジェクトメッシュを入力として、手の表面とオブジェクトとの間の接触の確率を生成する。
運動生成のために、トランスフォーマーベースの拡散モデルは、この3Dコンタクトマップを、物理的に可塑性な手オブジェクトの動きを生成するための強力な先行手段として利用する。
論文 参考訳(メタデータ) (2024-03-31T04:56:30Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [88.25603931962071]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、エゴセントリックな視点からのインタラクションの総合的な3D理解が重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳(メタデータ) (2024-03-25T05:12:21Z) - HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and
Objects from Video [70.11702620562889]
HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。
我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。
本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
論文 参考訳(メタデータ) (2023-11-30T10:50:35Z) - Novel-view Synthesis and Pose Estimation for Hand-Object Interaction
from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。
まず,手や物体の形状や外観を,神経表現と別々に学習する。
オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文 参考訳(メタデータ) (2023-08-22T05:17:41Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2023-08-06T09:09:17Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - Collaborative Learning for Hand and Object Reconstruction with
Attention-guided Graph Convolution [49.10497573378427]
インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。
我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。
広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
論文 参考訳(メタデータ) (2022-04-27T17:00:54Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳(メタデータ) (2021-11-02T13:40:18Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳(メタデータ) (2020-06-28T09:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。