論文の概要: CPF: Learning a Contact Potential Field to Model the Hand-object
Interaction
- arxiv url: http://arxiv.org/abs/2012.00924v2
- Date: Wed, 23 Dec 2020 09:04:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 04:02:43.241791
- Title: CPF: Learning a Contact Potential Field to Model the Hand-object
Interaction
- Title(参考訳): CPF:ハンドオブジェクトインタラクションをモデル化するための接触電位場学習
- Authors: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, Cewu Lu
- Abstract要約: 深層学習の手法により,相互作用中の手オブジェクトのポーズ(HO)の推定が顕著な成長をもたらした。
本研究では,各接触をバネ質量系としてモデル化した接触電位場(CPF)を明示的に提示する。
提案手法は, 幾つもの再現指標で最先端の手法を達成でき, より物理的に妥当な HO ポーズを生成できる。
- 参考スコア(独自算出の注目度): 40.050515780877774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating hand-object (HO) pose during interaction has been brought
remarkable growth in virtue of deep learning methods. Modeling the contact
between the hand and object properly is the key to construct a plausible grasp.
Yet, previous works usually focus on jointly estimating HO pose but not fully
explore the physical contact preserved in grasping. In this paper, we present
an explicit contact representation, Contact Potential Field (CPF) that models
each hand-object contact as a spring-mass system. Then we can refine a natural
grasp by minimizing the elastic energy w.r.t those systems. To recover CPF, we
also propose a learning-fitting hybrid framework named MIHO. Extensive
experiments on two public benchmarks have shown that our method can achieve
state-of-the-art in several reconstruction metrics, and allow us to produce
more physically plausible HO pose even when the ground-truth exhibits severe
interpenetration or disjointedness. Our code is available at
https://github.com/lixiny/CPF.
- Abstract(参考訳): 深層学習の手法により,相互作用中の手オブジェクトのポーズ(HO)の推定が顕著な成長をもたらした。
手と物体の接触を適切にモデル化することが、もっともらしい把握を構築する鍵である。
しかし、従来の研究は通常、hoポーズを共同推定することに焦点をあてるが、把持時に保持される物理的接触を完全には探索しない。
本稿では,各接触をバネ質量系としてモデル化した明示的な接触場である接触電位場(CPF)を提案する。
すると、これらの系に対する弾性エネルギーを最小化することで、自然な把握を洗練できる。
CPFを回復するために,MIHOという学習適合型ハイブリッドフレームワークを提案する。
2つの公開ベンチマークによる大規模な実験により,提案手法はいくつかの再現指標において最先端を達成でき,地上構造が厳密な相互接続や解離性を示す場合でも,より物理的に妥当なHOポーズを生成できることが示された。
私たちのコードはhttps://github.com/lixiny/cpfで利用可能です。
関連論文リスト
- Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:59:26Z) - Integrated Object Deformation and Contact Patch Estimation from
Visuo-Tactile Feedback [8.420670642409219]
本稿では,ビジュオ触覚フィードバックからオブジェクトの変形と接触パッチを共同でモデル化する表現を提案する。
我々は,NDCFを学習するためのニューラルネットワークアーキテクチャを提案し,シミュレーションデータを用いて学習する。
我々は,学習したNDCFが微調整を必要とせず,直接現実世界に転送されることを実証した。
論文 参考訳(メタデータ) (2023-05-23T18:53:24Z) - Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。
シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
論文 参考訳(メタデータ) (2023-03-25T15:16:31Z) - Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。
本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。
提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
論文 参考訳(メタデータ) (2022-11-16T10:01:33Z) - S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation
with Semi-Supervised Learning [70.72037296392642]
モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。
具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。
より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
論文 参考訳(メタデータ) (2022-08-01T14:05:23Z) - TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion
Refinement [42.3418874174372]
そこで本研究では,データを用いた不正確な3次元手オブジェクトインタラクションシーケンスの精細化手法TOCHを提案する。
時間分解オートエンコーダを用いた可塑性TOCH場の潜在多様体を学習する。
実験により、TOCHは最先端の3Dハンドオブジェクトインタラクションモデルより優れていることが示された。
論文 参考訳(メタデータ) (2022-05-16T20:41:45Z) - Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。
入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。
実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-09-15T17:05:02Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳(メタデータ) (2020-08-07T17:34:28Z) - ContactPose: A Dataset of Grasps with Object Contact and Hand Pose [27.24450178180785]
本研究では、手ポーズ、オブジェクトポーズ、RGB-D画像と組み合わせた、手オブジェクト接触の最初のデータセットであるContactPoseを紹介する。
ContactPoseは25の家庭用物体の2306のユニークな把握能力を持ち、50人の被験者による2つの機能的意図と2.9 M RGB-Dの把握画像を持っている。
論文 参考訳(メタデータ) (2020-07-19T01:01:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。