論文の概要: Embodied Hands: Modeling and Capturing Hands and Bodies Together

• arxiv url: http://arxiv.org/abs/2201.02610v1
• Date: Fri, 7 Jan 2022 18:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 15:38:01.014952
• Title: Embodied Hands: Modeling and Capturing Hands and Bodies Together
• Title（参考訳）: 体操手:手と体をモデリングし、捕獲する
• Authors: Javier Romero, Dimitrios Tzionas, Michael J. Black
• Abstract要約: 人間は、コミュニケーションとタスクの解決のために、手と体を一緒に移動します。 ほとんどの方法は、体と手の3Dモデリングと追跡を別々に扱う。 我々は、手と体の相互作用をモデルとして定式化し、それをフルボディの4Dシーケンスに適合させる。
• 参考スコア（独自算出の注目度）: 61.32931890166915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans move their hands and bodies together to communicate and solve tasks. Capturing and replicating such coordinated activity is critical for virtual characters that behave realistically. Surprisingly, most methods treat the 3D modeling and tracking of bodies and hands separately. Here we formulate a model of hands and bodies interacting together and fit it to full-body 4D sequences. When scanning or capturing the full body in 3D, hands are small and often partially occluded, making their shape and pose hard to recover. To cope with low-resolution, occlusion, and noise, we develop a new model called MANO (hand Model with Articulated and Non-rigid defOrmations). MANO is learned from around 1000 high-resolution 3D scans of hands of 31 subjects in a wide variety of hand poses. The model is realistic, low-dimensional, captures non-rigid shape changes with pose, is compatible with standard graphics packages, and can fit any human hand. MANO provides a compact mapping from hand poses to pose blend shape corrections and a linear manifold of pose synergies. We attach MANO to a standard parameterized 3D body shape model (SMPL), resulting in a fully articulated body and hand model (SMPL+H). We illustrate SMPL+H by fitting complex, natural, activities of subjects captured with a 4D scanner. The fitting is fully automatic and results in full body models that move naturally with detailed hand motions and a realism not seen before in full body performance capture. The models and data are freely available for research purposes in our website (http://mano.is.tue.mpg.de).
• Abstract（参考訳）: 人間は手と体を合わせてコミュニケーションし、タスクを解決します。 このような協調アクティビティのキャプチャと複製は、現実的に振舞う仮想キャラクタにとって重要である。 驚いたことに、ほとんどの方法は身体と手の3dモデリングと追跡を別々に扱う。 ここでは、相互作用する手と体のモデルを作成し、それをフルボディの4Dシーケンスに適合させる。 3dで全身をスキャンしたり捉えたりする場合、手は小さく、部分的に閉塞され、形やポーズが回復しにくい。 低分解能・オクルージョン・ノイズに対処するため,MANO(Articulated and Non-rigid DefOrmations)と呼ばれる新しいモデルを開発した。 manoは、31人の被験者の1000個の高解像度3dスキャンから、さまざまなポーズで学べる。 モデルはリアルで低次元で、ポーズで非剛体形状の変化を捉え、標準のグラフィックパッケージと互換性があり、どんな手にもフィットする。 MANOは手動のポーズからコンパクトなマッピングを提供し、ブレンド形状の補正とポーズのシナジーの線形多様体を提供する。 標準パラメタライズド3Dボディー形状モデル (SMPL) にMANOを付加し, 完全関節体モデル (SMPL+H) を実現する。 SMPL+Hを4Dスキャナーで捕捉した被験者の複雑で自然な活動に適合させて説明する。 このフィッティングは完全自動で、フルボディのモデルが、フルボディのパフォーマンスキャプチャーで見たことのない詳細な手の動きとリアリズムで自然に動く。 モデルとデータは、私たちのWebサイト(http://mano.is.tue.mpg.de.)で研究目的で自由に利用可能です。

関連論文リスト

• Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [22.848563931757962]
  単一のRGB画像から多人数で3Dメッシュを回収するための強力なシグルショットモデルであるMulti-HMRを提案する。 SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。 トレーニングデータに組み込むことで,特に手に対する予測がさらに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:05:13Z)
• Interactive Sketching of Mannequin Poses [3.222802562733787]
  3Dボディポーズは、様々なダウンストリームアプリケーションに必要である。 本研究では,シリンダーパーソナライズされた人間のスケッチからCGマネキンの3次元ポーズを推論する機械学習モデルを提案する。 ベクトルグラフィックストレーニングデータに対する我々のユニークなアプローチは、統合されたMLとキネマティクスシステムを支える。
  論文  参考訳（メタデータ） (2022-12-14T08:45:51Z)
• SUPR: A Sparse Unified Part-Based Human Representation [61.693373050670644]
  既存の頭と手のモデルでは、これらの部分の完全な動きを捉えることができません。 従来のボディパーツモデルは、個々のパーツに分離された3Dスキャンを使用して訓練されている。 そこで本研究では,全体モデルと特定部分モデルとを共同で学習する学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T09:32:34Z)
• NIMBLE: A Non-rigid Hand Model with Bones and Muscles [41.19718491215149]
  NIMBLEは、欠落鍵成分を含む新しいパラメトリックハンドモデルである。 NIMBLEは、三角形のメッシュとして20の骨、四面体メッシュとして7つの筋肉群、皮膚メッシュからなる。 NIMBLEをモデリング、レンダリング、視覚的推論タスクに適用する。
  論文  参考訳（メタデータ） (2022-02-09T15:57:21Z)
• GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping [47.49549115570664]
  既存の方法は、手と頭を無視して、身体の主肢に焦点を合わせている。手は別々に研究されているが、対象物の現実的な静的な把握に焦点が当てられている。 我々は、全体の動きと現実的な手の動きを同時に生成する必要がある。 本研究では,未知の物体をつかむアバターの全身,手,頭部の動きを初めて生成する問題に対処する。
  論文  参考訳（メタデータ） (2021-12-21T18:59:34Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• GRAB: A Dataset of Whole-Body Human Grasping of Objects [53.00728704389501]
  人間の把握を理解するためのコンピュータの訓練には、複雑な3Dオブジェクトの形状、詳細な接触情報、ポーズと形状、時間の経過とともに3Dボディの動きを含む豊富なデータセットが必要である。 全身の3次元形状を含むGRABと呼ばれる新しいデータセットを収集し、形状と大きさの異なる51の日常的な物体と相互作用する10人の被験者のシーケンスを合成する。 これは、人間がオブジェクトをつかみ、操作する方法、全身がどのように関与し、どのように相互作用がタスクによって異なるかを理解するために、既存のデータセットをはるかに超えています。
  論文  参考訳（メタデータ） (2020-08-25T17:57:55Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。