論文の概要: GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping
- arxiv url: http://arxiv.org/abs/2112.11454v1
- Date: Tue, 21 Dec 2021 18:59:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-22 14:55:00.937920
- Title: GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping
- Title（参考訳）: GOAL:ハンド・オブジェクト・グラッピングのための4次元全身運動の生成
- Authors: Omid Taheri, Vasileios Choutas, Michael J. Black, and Dimitrios
Tzionas
- Abstract要約: 既存の方法は、手と頭を無視して、身体の主肢に焦点を合わせている。手は別々に研究されているが、対象物の現実的な静的な把握に焦点が当てられている。
我々は、全体の動きと現実的な手の動きを同時に生成する必要がある。
本研究では,未知の物体をつかむアバターの全身,手,頭部の動きを初めて生成する問題に対処する。
- 参考スコア（独自算出の注目度）: 47.49549115570664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating digital humans that move realistically has many applications and
is widely studied, but existing methods focus on the major limbs of the body,
ignoring the hands and head. Hands have been separately studied but the focus
has been on generating realistic static grasps of objects. To synthesize
virtual characters that interact with the world, we need to generate full-body
motions and realistic hand grasps simultaneously. Both sub-problems are
challenging on their own and, together, the state-space of poses is
significantly larger, the scales of hand and body motions differ, and the
whole-body posture and the hand grasp must agree, satisfy physical constraints,
and be plausible. Additionally, the head is involved because the avatar must
look at the object to interact with it. For the first time, we address the
problem of generating full-body, hand and head motions of an avatar grasping an
unknown object. As input, our method, called GOAL, takes a 3D object, its
position, and a starting 3D body pose and shape. GOAL outputs a sequence of
whole-body poses using two novel networks. First, GNet generates a goal
whole-body grasp with a realistic body, head, arm, and hand pose, as well as
hand-object contact. Second, MNet generates the motion between the starting and
goal pose. This is challenging, as it requires the avatar to walk towards the
object with foot-ground contact, orient the head towards it, reach out, and
grasp it with a realistic hand pose and hand-object contact. To achieve this
the networks exploit a representation that combines SMPL-X body parameters and
3D vertex offsets. We train and evaluate GOAL, both qualitatively and
quantitatively, on the GRAB dataset. Results show that GOAL generalizes well to
unseen objects, outperforming baselines. GOAL takes a step towards synthesizing
realistic full-body object grasping.
- Abstract（参考訳）: 現実的に動くデジタル人間を生成するには多くの応用があり、広く研究されているが、既存の方法は手や頭を無視して身体の主肢に焦点を当てている。
手は別々に研究されているが、オブジェクトのリアルな静的な把握に焦点が当てられている。
世界と相互作用する仮想文字を合成するには、全身の動きとリアルな手の動きを同時に生成する必要がある。
サブプロブレムはそれぞれが挑戦的であり、ポーズの状態空間は著しく大きく、手と体の動きの規模は異なり、体全体の姿勢と手の動きは一致し、身体的制約を満足し、妥当である。
さらに、頭部が関与するのは、アバターがそれと相互作用するためにオブジェクトを見る必要があるからである。
本研究では,未知の物体をつかむアバターの全身,手,頭部の動きを初めて生成する問題に対処する。
入力として、GOALと呼ばれる手法は、3Dオブジェクトとその位置、そして開始する3Dボディのポーズと形状を取ります。
GOALは2つの新しいネットワークを使って全身のポーズを出力する。
まず、GNetは、現実的な体、頭、腕、手ポーズ、そして手オブジェクトの接触で、目標全体の把握を生成する。
第2に、MNetは開始ポーズとゴールポーズの間の動きを生成する。
これは、アバターが足と足の接触で物体に向かって歩き、頭に向かって向きを変え、手を伸ばし、リアルな手のポーズと手と対象の接触でつかむ必要があるため、困難である。
これを実現するために、SMPL-Xボディパラメータと3次元頂点オフセットを組み合わせた表現を利用する。
GRABデータセット上で,GOALを質的かつ定量的に訓練し,評価する。
その結果、GOALは未確認のオブジェクトによく一般化し、ベースラインを上回ります。
GOALは、現実的なフルボディオブジェクトの把握を合成するための一歩を踏み出す。
関連論文リスト
- GraspDiffusion: Synthesizing Realistic Whole-body Hand-Object Interaction [9.564223516111275]
最近の生成モデルは高品質な画像を合成できるが、しばしば手を使って物体と相互作用する人間の生成に失敗する。
本稿では,人間と物体の相互作用の現実的なシーンを生成する新しい生成法であるGraspDiffusionを提案する。
論文 参考訳（メタデータ） (2024-10-17T01:45:42Z) - Target Pose Guided Whole-body Grasping Motion Generation for Digital Humans [8.741075482543991]
本稿では,デジタル人間のための把握動作生成フレームワークを提案する。
我々はまず,オフザシェルフ目標把握ポーズ生成法に基づいて,全身デジタル人間のターゲットポーズを生成する。
最初のポーズとこの生成されたターゲットポーズで、トランスフォーマーベースのニューラルネットワークを使用して、把握軌道全体を生成する。
論文 参考訳（メタデータ） (2024-09-26T05:43:23Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳（メタデータ） (2022-12-20T19:50:54Z) - Generating Holistic 3D Human Motion from Speech [97.11392166257791]
同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。
次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
論文 参考訳（メタデータ） (2022-12-08T17:25:19Z) - FLEX: Full-Body Grasping Without Full-Body Grasps [24.10724524386518]
我々は,日常の物体を把握し,人間の手と全身を仮想的に生成するタスクに対処する。
既存の方法では、オブジェクトと対話する人間の3Dデータセットを収集し、このデータに基づいてトレーニングすることで、この問題に対処する。
フルボディのポーズとハンドグルーピングの両方の存在を活用し、3次元幾何学的制約を用いて構成し、フルボディのグルーピングを得る。
論文 参考訳（メタデータ） (2022-11-21T23:12:54Z) - Embodied Hands: Modeling and Capturing Hands and Bodies Together [61.32931890166915]
人間は、コミュニケーションとタスクの解決のために、手と体を一緒に移動します。
ほとんどの方法は、体と手の3Dモデリングと追跡を別々に扱う。
我々は、手と体の相互作用をモデルとして定式化し、それをフルボディの4Dシーケンスに適合させる。
論文 参考訳（メタデータ） (2022-01-07T18:59:32Z) - SAGA: Stochastic Whole-Body Grasping with Contact [60.43627793243098]
人間の握り合成には、AR/VR、ビデオゲーム、ロボット工学など多くの応用がある。
本研究の目的は,体全体をつかむ動作を合成することである。3次元物体が与えられたら,物体に接近してつかむような,多様で自然な人体の動きを生成することを目的としている。
論文 参考訳（メタデータ） (2021-12-19T10:15:30Z) - GRAB: A Dataset of Whole-Body Human Grasping of Objects [53.00728704389501]
人間の把握を理解するためのコンピュータの訓練には、複雑な3Dオブジェクトの形状、詳細な接触情報、ポーズと形状、時間の経過とともに3Dボディの動きを含む豊富なデータセットが必要である。
全身の3次元形状を含むGRABと呼ばれる新しいデータセットを収集し、形状と大きさの異なる51の日常的な物体と相互作用する10人の被験者のシーケンスを合成する。
これは、人間がオブジェクトをつかみ、操作する方法、全身がどのように関与し、どのように相互作用がタスクによって異なるかを理解するために、既存のデータセットをはるかに超えています。
論文 参考訳（メタデータ） (2020-08-25T17:57:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。