論文の概要: TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement

• arxiv url: http://arxiv.org/abs/2205.07982v3
• Date: Fri, 27 Oct 2023 11:32:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 19:05:42.184575
• Title: TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement
• Title（参考訳）: TOCH:モーションリファインメントのための時空間オブジェクト対ハンド対応
• Authors: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, Gerard Pons-Moll
• Abstract要約: そこで本研究では,データを用いた不正確な3次元手オブジェクトインタラクションシーケンスの精細化手法TOCHを提案する。 時間分解オートエンコーダを用いた可塑性TOCH場の潜在多様体を学習する。 実験により、TOCHは最先端の3Dハンドオブジェクトインタラクションモデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 42.3418874174372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present TOCH, a method for refining incorrect 3D hand-object interaction sequences using a data prior. Existing hand trackers, especially those that rely on very few cameras, often produce visually unrealistic results with hand-object intersection or missing contacts. Although correcting such errors requires reasoning about temporal aspects of interaction, most previous works focus on static grasps and contacts. The core of our method are TOCH fields, a novel spatio-temporal representation for modeling correspondences between hands and objects during interaction. TOCH fields are a point-wise, object-centric representation, which encode the hand position relative to the object. Leveraging this novel representation, we learn a latent manifold of plausible TOCH fields with a temporal denoising auto-encoder. Experiments demonstrate that TOCH outperforms state-of-the-art 3D hand-object interaction models, which are limited to static grasps and contacts. More importantly, our method produces smooth interactions even before and after contact. Using a single trained TOCH model, we quantitatively and qualitatively demonstrate its usefulness for correcting erroneous sequences from off-the-shelf RGB/RGB-D hand-object reconstruction methods and transferring grasps across objects.
• Abstract（参考訳）: 本稿では,データプリエントを用いた不正確な3次元ハンドオブジェクトインタラクションシーケンスを精錬する手法であるtochを提案する。 既存のハンドトラッカー、特にごく少数のカメラに頼っているものは、しばしば視覚的に非現実的な結果をもたらす。 このような誤りを修正するには、インタラクションの時間的側面を推論する必要があるが、以前のほとんどの作品は静的な把握とコンタクトに焦点を当てている。 本手法のコアはTOCHフィールドであり,インタラクション中の手と物体の対応をモデル化するための新しい時空間表現である。 TOCHフィールドは、オブジェクトに対して手の位置を符号化する、ポイントワイドなオブジェクト中心表現である。 この新しい表現を活用し、時間的デノイジングオートエンコーダを持つ可算なトーチ場の潜在多様体を学習する。 実験により、TOCHは静的な把握と接触に限られる最先端の3Dハンドオブジェクト相互作用モデルより優れていることが示された。 さらに,本手法は接触前後でも円滑に相互作用する。 一つの訓練されたトーチモデルを用いて,既成のrgb/rgb-dハンドオブジェクト復元法から誤りシーケンスを補正し,オブジェクト間の把持の移動に定量的・定性的に有用性を示す。

関連論文リスト

• NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction [19.957593804898064]
  ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。 私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。 提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
  論文  参考訳（メタデータ） (2024-02-08T10:09:12Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views [41.50710846018882]
  スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。 まず,手や物体の形状や外観を,神経表現と別々に学習する。 オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-22T05:17:41Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。