論文の概要: InterCap: Joint Markerless 3D Tracking of Humans and Objects in
Interaction
- arxiv url: http://arxiv.org/abs/2209.12354v1
- Date: Mon, 26 Sep 2022 00:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 16:23:59.306625
- Title: InterCap: Joint Markerless 3D Tracking of Humans and Objects in
Interaction
- Title（参考訳）: InterCap:人間と物体のインタラクションにおける共同マーカーレス3次元追跡
- Authors: Yinghao Huang (1), Omid Tehari (1), Michael J. Black (1), Dimitrios
Tzionas (2) ((1) Max Planck Institute for Intelligent Systems, T\"ubingen,
Germany, (2) University of Amsterdam, Amsterdam, The Netherlands)
- Abstract要約: InterCapは、多視点RGB-Dデータからボディ全体とオブジェクトを再構築する。
Azure Kinectセンサーを使えば、シンプルなマルチビューのRGB-Dキャプチャシステムをセットアップできます。
InterCapには223のRGB-Dビデオがあり、6つのRGB-D画像を含む67,357のマルチビューフレームがある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans constantly interact with daily objects to accomplish tasks. To
understand such interactions, computers need to reconstruct these from cameras
observing whole-body interaction with scenes. This is challenging due to
occlusion between the body and objects, motion blur, depth/scale ambiguities,
and the low image resolution of hands and graspable object parts. To make the
problem tractable, the community focuses either on interacting hands, ignoring
the body, or on interacting bodies, ignoring hands. The GRAB dataset addresses
dexterous whole-body interaction but uses marker-based MoCap and lacks images,
while BEHAVE captures video of body object interaction but lacks hand detail.
We address the limitations of prior work with InterCap, a novel method that
reconstructs interacting whole-bodies and objects from multi-view RGB-D data,
using the parametric whole-body model SMPL-X and known object meshes. To tackle
the above challenges, InterCap uses two key observations: (i) Contact between
the hand and object can be used to improve the pose estimation of both. (ii)
Azure Kinect sensors allow us to set up a simple multi-view RGB-D capture
system that minimizes the effect of occlusion while providing reasonable
inter-camera synchronization. With this method we capture the InterCap dataset,
which contains 10 subjects (5 males and 5 females) interacting with 10 objects
of various sizes and affordances, including contact with the hands or feet. In
total, InterCap has 223 RGB-D videos, resulting in 67,357 multi-view frames,
each containing 6 RGB-D images. Our method provides pseudo ground-truth body
meshes and objects for each video frame. Our InterCap method and dataset fill
an important gap in the literature and support many research directions. Our
data and code are areavailable for research purposes.
- Abstract（参考訳）: 人間はタスクを達成するために毎日のオブジェクトと対話します。
このような相互作用を理解するために、コンピュータは全身体とシーンとの相互作用を観察するカメラからそれらを再構築する必要がある。
これは、体と物体の閉塞、動きのぼかし、深度/スケールのあいまいさ、手とつかみやすい物体の解像度の低いためである。
問題を扱いやすいものにするために、コミュニティは、相互作用する手、身体を無視する、相互作用する体に焦点を合わせ、手を無視する。
GRABデータセットは、器用な全身インタラクションに対処するが、マーカーベースのMoCapを使用し、画像が欠如している。
パラメトリック全体モデルSMPL-Xと既知のオブジェクトメッシュを用いて、多視点RGB-Dデータから体と物体の相互作用を再構築する新しい手法であるInterCapによる先行作業の限界に対処する。
上記の課題に対処するため、InterCapは2つの重要な観察結果を使用している。
(i)両手のポーズ推定を改善するために手と物体の接触を用いることができる。
(II)Azure Kinectセンサは、カメラ間の適切な同期を提供しながら、閉塞効果を最小限に抑える、シンプルなマルチビューRGB-Dキャプチャシステムを構築することができる。
この方法では、InterCapデータセットをキャプチャし、10人の被験者(男性5人、女性5人)が、手や足との接触を含む、さまざまなサイズの10のオブジェクトと対話する。
InterCapには223のRGB-Dビデオがあり、6つのRGB-D画像を含む67,357のマルチビューフレームがある。
本手法は,各映像フレームに対して疑似接地型ボディメッシュとオブジェクトを提供する。
InterCap法とデータセットは文献の重要なギャップを埋め、多くの研究方向を支援する。
私たちのデータとコードは研究目的で利用できます。
関連論文リスト
- PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。
我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。
相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
論文 参考訳（メタデータ） (2024-11-17T23:09:08Z) - Dense Hand-Object(HO) GraspNet with Full Grasping Taxonomy and Dynamics [43.30868393851785]
HOGraspNetは、3Dハンドオブジェクトインタラクションのためのトレーニングデータセットである。
データセットには、10歳から74歳の99人の被験者のさまざまな手形が含まれている。
3Dハンドとオブジェクトメッシュ,3Dキーポイント,コンタクトマップ,Emphgraspラベルのラベルを提供する。
論文 参考訳（メタデータ） (2024-09-06T05:49:38Z) - A New People-Object Interaction Dataset and NVS Benchmarks [16.909004722367644]
そこで本研究では,30-viewのマルチパーソンまたは1対1のRGB-Dビデオシーケンスからなる新たな人物オブジェクトインタラクションデータセットを提案する。
ビデオシーケンスは30のKinect Azureによってキャプチャされ、シーンを均一に囲み、それぞれ4K解像度25 FPSで、1$sim$19秒続く。
論文 参考訳（メタデータ） (2024-09-03T08:54:15Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2023-08-06T09:09:17Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳（メタデータ） (2022-12-20T19:50:54Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - EgoBody: Human Body Shape, Motion and Social Interactions from
Head-Mounted Devices [76.50816193153098]
EgoBodyは複雑な3Dシーンにおけるソーシャルインタラクションのための新しい大規模データセットである。
私たちはMicrosoft HoloLens2ヘッドセットを使って、RGB、奥行き、視線、頭と手のトラッキングなど、リッチなエゴセントリックなデータストリームを記録しています。
正確な3Dグラウンドトルースを得るため、マルチKinectリグでヘッドセットを校正し、多視点RGB-Dフレームに表現力のあるSMPL-Xボディーメッシュを適合させる。
論文 参考訳（メタデータ） (2021-12-14T18:41:28Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳（メタデータ） (2021-11-02T13:40:18Z) - H2O: Two Hands Manipulating Objects for First Person Interaction
Recognition [70.46638409156772]
両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。
本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。
我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
論文 参考訳（メタデータ） (2021-04-22T17:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。