論文の概要: TOCH: Spatio-Temporal Object Correspondence to Hand for Motion Refinement

• arxiv url: http://arxiv.org/abs/2205.07982v1
• Date: Mon, 16 May 2022 20:41:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 00:16:09.044822
• Title: TOCH: Spatio-Temporal Object Correspondence to Hand for Motion Refinement
• Title（参考訳）: TOCH: モーションリファインメントのためのハンドに対応する時空間オブジェクト
• Authors: Keyang Zhou, Bharat Bhatnagar, Jan Eric Lenssen, Gerard Pons-Moll
• Abstract要約: そこで本研究では,データを用いた不正確な3次元手オブジェクトインタラクションシーケンスの精細化手法TOCHを提案する。 時間分解オートエンコーダを用いた可塑性TOCH場の潜在多様体を学習する。 実験により、TOCHは最先端(SOTA)3次元ハンドオブジェクト相互作用モデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 44.2867879691835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present TOCH, a method for refining incorrect 3D hand-object interaction sequences using a data prior. Existing hand trackers, especially those that rely on very few cameras, often produce visually unrealistic results with hand-object intersection or missing contacts. Although correcting such errors requires reasoning about temporal aspects of interaction, most previous work focus on static grasps and contacts. The core of our method are TOCH fields, a novel spatio-temporal representation for modeling correspondences between hands and objects during interaction. The key component is a point-wise object-centric representation which encodes the hand position relative to the object. Leveraging this novel representation, we learn a latent manifold of plausible TOCH fields with a temporal denoising auto-encoder. Experiments demonstrate that TOCH outperforms state-of-the-art (SOTA) 3D hand-object interaction models, which are limited to static grasps and contacts. More importantly, our method produces smooth interactions even before and after contact. Using a single trained TOCH model, we quantitatively and qualitatively demonstrate its usefulness for 1) correcting erroneous reconstruction results from off-the-shelf RGB/RGB-D hand-object reconstruction methods, 2) de-noising, and 3) grasp transfer across objects. We will release our code and trained model on our project page at http://virtualhumans.mpi-inf.mpg.de/toch/
• Abstract（参考訳）: 本稿では,データプリエントを用いた不正確な3次元ハンドオブジェクトインタラクションシーケンスを精錬する手法であるtochを提案する。 既存のハンドトラッカー、特にごく少数のカメラに頼っているものは、しばしば視覚的に非現実的な結果をもたらす。 このようなエラーを修正するには、インタラクションの時間的側面を推論する必要があるが、以前のほとんどの作業は静的な把握とコンタクトに焦点を当てている。 本手法のコアはTOCHフィールドであり,インタラクション中の手と物体の対応をモデル化するための新しい時空間表現である。 キーコンポーネントは、オブジェクトに対する手の位置をエンコードするポイントワイズオブジェクト中心表現である。 この新しい表現を活用し、時間的デノイジングオートエンコーダを持つ可算なトーチ場の潜在多様体を学習する。 実験により、TOCHは静的なつかみや接触に限られる3次元手オブジェクト相互作用モデルより優れていることが示された。 さらに,本手法は接触前後でも円滑に相互作用する。 1つの訓練されたTOCHモデルを用いて、その有用性を定量的かつ質的に示す。 1) 既設RGB/RGB-D手指再建法による誤再建結果の補正 2)非騒音化,及び 3)オブジェクト間の転送の把握。 コードとトレーニングされたモデルをプロジェクトページのhttp://virtual humans.mpi-inf.mpg.de/toch/で公開します。

関連論文リスト

• NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction [19.957593804898064]
  ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。 私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。 提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
  論文  参考訳（メタデータ） (2024-02-08T10:09:12Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views [41.50710846018882]
  スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。 まず,手や物体の形状や外観を,神経表現と別々に学習する。 オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-22T05:17:41Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。