論文の概要: Grasping Field: Learning Implicit Representations for Human Grasps
- arxiv url: http://arxiv.org/abs/2008.04451v3
- Date: Thu, 26 Nov 2020 16:07:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 23:14:14.306659
- Title: Grasping Field: Learning Implicit Representations for Human Grasps
- Title（参考訳）: 把持場:人間把持のための暗黙表現の学習
- Authors: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael Black,
Krikamol Muandet, Siyu Tang
- Abstract要約: 本稿では,深層ニューラルネットワークと統合し易い人間の把握モデリングのための表現表現を提案する。
この3Dから2DマッピングをGrasping Fieldと呼び、ディープニューラルネットワークでパラメータ化し、データから学習します。
我々の生成モデルは、3Dオブジェクトポイント・クラウドにのみ適用され、高品質な人間のグリップを合成することができる。
- 参考スコア（独自算出の注目度）: 16.841780141055505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic grasping of house-hold objects has made remarkable progress in recent
years. Yet, human grasps are still difficult to synthesize realistically. There
are several key reasons: (1) the human hand has many degrees of freedom (more
than robotic manipulators); (2) the synthesized hand should conform to the
surface of the object; and (3) it should interact with the object in a
semantically and physically plausible manner. To make progress in this
direction, we draw inspiration from the recent progress on learning-based
implicit representations for 3D object reconstruction. Specifically, we propose
an expressive representation for human grasp modelling that is efficient and
easy to integrate with deep neural networks. Our insight is that every point in
a three-dimensional space can be characterized by the signed distances to the
surface of the hand and the object, respectively. Consequently, the hand, the
object, and the contact area can be represented by implicit surfaces in a
common space, in which the proximity between the hand and the object can be
modelled explicitly. We name this 3D to 2D mapping as Grasping Field,
parameterize it with a deep neural network, and learn it from data. We
demonstrate that the proposed grasping field is an effective and expressive
representation for human grasp generation. Specifically, our generative model
is able to synthesize high-quality human grasps, given only on a 3D object
point cloud. The extensive experiments demonstrate that our generative model
compares favorably with a strong baseline and approaches the level of natural
human grasps. Our method improves the physical plausibility of the hand-object
contact reconstruction and achieves comparable performance for 3D hand
reconstruction compared to state-of-the-art methods.
- Abstract（参考訳）: 近年,家庭用物体のロボット把持が著しい進歩を遂げている。
しかし、人間の把握はまだ現実的な合成が難しい。
1) 人間の手は多くの自由度(ロボットマニピュレータよりも)を持ち、(2) 合成された手は物体の表面に適合し、(3) 意味的に、物理的に有理な方法で物体と相互作用すべきである。
この方向に進むために、3次元オブジェクト再構成のための学習に基づく暗黙の表現の最近の進歩から着想を得た。
具体的には,深層ニューラルネットワークと効率的に統合し易い人間把握モデリングのための表現表現を提案する。
我々の洞察では、三次元空間のすべての点は、それぞれ手の表面と物体との符号付き距離によって特徴づけられる。
これにより、手と物体と接触領域を共通空間内の暗黙の表面で表現することができ、手と物体との近接を明示的にモデル化することができる。
この3Dから2DマッピングをGrasping Fieldと呼び、ディープニューラルネットワークでパラメータ化し、データから学習します。
提案する把持場は,人間の把持生成に効果的で表現力に富む表現であることを示す。
具体的には、3dオブジェクトポイントクラウド上でのみ、高品質な人間把握を合成することが可能である。
より広範な実験により,我々の生成モデルは強いベースラインと好適に比較され,自然な人間の把握レベルに近づいた。
本手法は,手指接触再建の物理的信頼性を向上し,最新手法と比較して3次元手指再建に匹敵する性能を実現する。
関連論文リスト
- G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
G-HOPは手-対象相互作用の前駆体である。
人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。
この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
論文 参考訳（メタデータ） (2024-04-18T17:59:28Z) - Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models [8.933560282929726]
我々はComprehensive Affordance(ComA)という新しい余裕表現を導入する。
3Dオブジェクトメッシュが与えられたとき、ComAは相互作用する人間のメッシュにおける相対配向と頂点の近接の分布をモデル化する。
ComAは、連絡先ベースの価格のモデリングにおいて、人間のアノテーションに依存している競争相手よりも優れていることを実証する。
論文 参考訳（メタデータ） (2024-01-23T18:59:59Z) - Primitive-based 3D Human-Object Interaction Modelling and Programming [59.47308081630886]
本研究では,人間と物体の両方を符号化する新しい3次元幾何学的原始言語を提案する。
プリミティブと画像を組み合わせた3D HAOIのベンチマークを構築した。
このプリミティブベースの3DHAOI表現は、3DHAOI研究の道を開くと信じている。
論文 参考訳（メタデータ） (2023-12-17T13:16:49Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - CHORUS: Learning Canonicalized 3D Human-Object Spatial Relations from
Unbounded Synthesized Images [10.4286198282079]
本研究では,3次元における多種多様な物体間相互作用の空間的共通感覚を理解し,モデル化する手法を提案する。
我々は、人間が同じ種類の物体と対話するとき、異なる視点から撮影した複数の2D画像を示す。
実画像よりも画質が不完全であるにもかかわらず、合成画像は3次元的対象空間関係を学習するのに十分であることを示す。
論文 参考訳（メタデータ） (2023-08-23T17:59:11Z) - Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T17:59:26Z) - Reconstructing Action-Conditioned Human-Object Interactions Using
Commonsense Knowledge Priors [42.17542596399014]
本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。
提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。
本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
論文 参考訳（メタデータ） (2022-09-06T13:32:55Z) - CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。
2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。
提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
論文 参考訳（メタデータ） (2022-04-05T18:38:06Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳（メタデータ） (2021-11-30T04:10:57Z) - PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。
我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
論文 参考訳（メタデータ） (2020-08-12T21:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。