論文の概要: 3D Whole-body Grasp Synthesis with Directional Controllability

• arxiv url: http://arxiv.org/abs/2408.16770v1
• Date: Thu, 29 Aug 2024 17:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 12:41:39.449572
• Title: 3D Whole-body Grasp Synthesis with Directional Controllability
• Title（参考訳）: 方向制御性を有する3次元全体グラフ合成
• Authors: Georgios Paschalidis, Romana Wilschut, Dimitrije Antić, Omid Taheri, Dimitrios Tzionas,
• Abstract要約: 物体をリアルに把握する3次元体全体を合成するCWGraspを提案する。 CWGraspは「遅すぎる」ではなく「早期オン」という幾何学に基づく推論を行い、推論のためのリッチな「制御」信号を提供する。 GRABとReplicaGraspのデータセットを評価した。
• 参考スコア（独自算出の注目度）: 8.700667342027675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing 3D whole-bodies that realistically grasp objects is useful for animation, mixed reality, and robotics. This is challenging, because the hands and body need to look natural w.r.t. each other, the grasped object, as well as the local scene (i.e., a receptacle supporting the object). Only recent work tackles this, with a divide-and-conquer approach; it first generates a "guiding" right-hand grasp, and then searches for bodies that match this. However, the guiding-hand synthesis lacks controllability and receptacle awareness, so it likely has an implausible direction (i.e., a body can't match this without penetrating the receptacle) and needs corrections through major post-processing. Moreover, the body search needs exhaustive sampling and is expensive. These are strong limitations. We tackle these with a novel method called CWGrasp. Our key idea is that performing geometry-based reasoning "early on," instead of "too late," provides rich "control" signals for inference. To this end, CWGrasp first samples a plausible reaching-direction vector (used later for both the arm and hand) from a probabilistic model built via raycasting from the object and collision checking. Then, it generates a reaching body with a desired arm direction, as well as a "guiding" grasping hand with a desired palm direction that complies with the arm's one. Eventually, CWGrasp refines the body to match the "guiding" hand, while plausibly contacting the scene. Notably, generating already-compatible "parts" greatly simplifies the "whole." Moreover, CWGrasp uniquely tackles both right- and left-hand grasps. We evaluate on the GRAB and ReplicaGrasp datasets. CWGrasp outperforms baselines, at lower runtime and budget, while all components help performance. Code and models will be released.
• Abstract（参考訳）: 物体をリアルに把握する3D体全体を合成することは、アニメーション、混合現実、ロボット工学に有用である。 これは、手と体が互いに自然にw.r.t.t.に見え、つかまれた物体が、局所的なシーン(つまり、物体を支える受容体)である必要があるためである。 直近の研究では、まず右利きの「ガイド」を発生させ、次にこれと一致する身体を探索する。 しかし、ガイドハンド合成は制御性や受容体の認識を欠いているため、不明瞭な方向(つまり、体は受容体を浸透させることなくこれと一致できない)を持ち、主要な後処理による修正が必要である。 さらに、ボディサーチには徹底的なサンプリングが必要であり、高価である。 これらは強い制限です。 我々はCWGraspと呼ばれる新しい手法でこれらに取り組む。 我々のキーとなる考え方は、幾何に基づく推論を「早め」ではなく「早め」に実行し、推論のためにリッチな「制御」信号を提供するというものである。 この目的のために、CWGraspはまず、物体からのレイキャストと衝突チェックによって構築された確率モデルから、可塑性リーチ方向ベクトル(後に腕と手の両方に使用される)をサンプリングした。 そして、所望の腕方向の到達体と、所望の手のひら方向の「ガイド」握り手を生成し、腕のそれに対応する。 最終的に、CWGraspは身体を洗練して「ガイド」の手と一致するようにし、シーンに確実に接触する。 注目すべきは、すでに互換性のある"パーツ"の生成が"全体"を大幅に単純化することである。 さらに、CWGraspは左右両方のグリップに特化している。 GRABおよびReplicaGraspデータセットの評価を行った。 CWGraspは、ランタイムと予算の低さでベースラインを上回り、すべてのコンポーネントがパフォーマンスに役立ちます。 コードとモデルはリリースされる。

関連論文リスト

• G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
  G-HOPは手-対象相互作用の前駆体である。 人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。 この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
  論文  参考訳（メタデータ） (2024-04-18T17:59:28Z)
• PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation [31.123581504322825]
  既存の3Dポーズ推定器は、トレーニングセットに2D-3Dポーズペアが欠如しているため、新しいデータセットに適応する際の課題に直面している。 textitMulti-Hypothesis textbfPose textbfSynthesis textbfDomain textbfAdaptation (textbfPoSynDA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-18T16:57:25Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
  ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。 正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
  論文  参考訳（メタデータ） (2022-04-28T17:23:59Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)
• GRAB: A Dataset of Whole-Body Human Grasping of Objects [53.00728704389501]
  人間の把握を理解するためのコンピュータの訓練には、複雑な3Dオブジェクトの形状、詳細な接触情報、ポーズと形状、時間の経過とともに3Dボディの動きを含む豊富なデータセットが必要である。 全身の3次元形状を含むGRABと呼ばれる新しいデータセットを収集し、形状と大きさの異なる51の日常的な物体と相互作用する10人の被験者のシーケンスを合成する。 これは、人間がオブジェクトをつかみ、操作する方法、全身がどのように関与し、どのように相互作用がタスクによって異なるかを理解するために、既存のデータセットをはるかに超えています。
  論文  参考訳（メタデータ） (2020-08-25T17:57:55Z)
• DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for High-fidelity Hand Mesh Modeling [75.69585456580505]
  DeepHandMeshは、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークである。 また,一般画像からの3次元手メッシュ推定にも有効であることを示す。
  論文  参考訳（メタデータ） (2020-08-19T00:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。