論文の概要: Understanding Human Hands in Contact at Internet Scale
- arxiv url: http://arxiv.org/abs/2006.06669v1
- Date: Thu, 11 Jun 2020 17:59:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 14:06:41.884671
- Title: Understanding Human Hands in Contact at Internet Scale
- Title(参考訳): インターネットの規模で人の手を理解する
- Authors: Dandan Shan, Jiaqi Geng, Michelle Shu, David F. Fouhey
- Abstract要約: 本稿では,手の位置,側,接触状態,接触対象の周囲の箱など,インタラクション手法に係わる手の豊かな表現を推測するステップを提案する。
131日間の映像と100Kの注釈付き手話ビデオフレームデータセットからなるオブジェクトと接触する大規模な手話データセットを収集する。
人間の手による3次元メッシュからの予測と学習の両面から定量的に評価する。
- 参考スコア(独自算出の注目度): 14.20697388995578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hands are the central means by which humans manipulate their world and being
able to reliably extract hand state information from Internet videos of humans
engaged in their hands has the potential to pave the way to systems that can
learn from petabytes of video data. This paper proposes steps towards this by
inferring a rich representation of hands engaged in interaction method that
includes: hand location, side, contact state, and a box around the object in
contact. To support this effort, we gather a large-scale dataset of hands in
contact with objects consisting of 131 days of footage as well as a 100K
annotated hand-contact video frame dataset. The learned model on this dataset
can serve as a foundation for hand-contact understanding in videos. We
quantitatively evaluate it both on its own and in service of predicting and
learning from 3D meshes of human hands.
- Abstract(参考訳): 手は、人間が自分の世界を操作し、手にある人間のインターネットビデオから手の状態情報を確実に抽出できる中心的な手段であり、ペタバイトのビデオデータから学習できるシステムへの道を開く可能性がある。
本稿では,手の位置,側方,接触状態,接触対象の周囲を囲む箱など,インタラクション方法に携わる手の豊富な表現を推測することで,これに向けたステップを提案する。
この取り組みをサポートするために,131日分の映像と100kの注釈付手接触ビデオフレームデータセットからなる物体との接触に関する大規模データセットを収集した。
このデータセットの学習モデルは、ビデオで手作業による理解の基礎となる。
人間の手の3dメッシュから予測と学習を行う目的で、自分自身と両方で定量的に評価する。
関連論文リスト
- HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-12-27T22:35:33Z) - Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:59:26Z) - ContactArt: Learning 3D Interaction Priors for Category-level Articulated Object and Hand Poses Estimation [46.815231896011284]
そこで我々は,手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動の
まず、視覚的遠隔操作を用いてデータセットを収集し、人間のオペレーターが物理的シミュレータ内で直接プレイすることで、調音されたオブジェクトを操作できる。
私たちのシステムでは、人手の動きを記録するためにiPhoneしか必要とせず、簡単にスケールアップでき、データやアノテーションの収集コストを大幅に削減できます。
論文 参考訳(メタデータ) (2023-05-02T17:24:08Z) - Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and
Applications [20.571026014771828]
11,243枚のエゴセントリックな画像からなるラベル付きデータセットを,手とオブジェクトのピクセルごとのセグメンテーションラベルで提供する。
私たちのデータセットは、ハンドオブジェクトの接触境界をラベル付けした最初のものです。
我々の堅牢なハンドオブジェクトセグメンテーションモデルとデータセットは、下流の視覚アプリケーションを強化または有効化するための基本的なツールとして機能することを示します。
論文 参考訳(メタデータ) (2022-08-07T21:43:40Z) - ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。
正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
論文 参考訳(メタデータ) (2022-04-28T17:23:59Z) - Human Hands as Probes for Interactive Object Understanding [8.330625683887957]
人間の手の動きと、関連するデータと必要な監視の両方を提供する方法の観察を実証する。
EPIC-KITCHENSデータセットにこれらの基本原理を適用し、状態に敏感な特徴をうまく学習する。
論文 参考訳(メタデータ) (2021-12-16T18:58:03Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳(メタデータ) (2021-11-02T13:40:18Z) - Egocentric View Hand Action Recognition by Leveraging Hand Surface and
Hand Grasp Type [15.878905144552204]
このフレームワークは、手メッシュモデルの平均曲率を合成し、3次元空間における手表面形状を符号化する。
手のつかみタイプと手の平均曲率を用いることで,手の動き認識の性能が向上する。
論文 参考訳(メタデータ) (2021-09-08T17:12:02Z) - Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body
Dynamics [87.17505994436308]
身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。
身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。
本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
論文 参考訳(メタデータ) (2020-07-23T22:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。