論文の概要: Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation
- arxiv url: http://arxiv.org/abs/2411.09572v1
- Date: Thu, 14 Nov 2024 16:29:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:24:26.308589
- Title: Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation
- Title（参考訳）: 分散力覚接触表現を用いた物体間相互作用の動的再構成
- Authors: Zhenjun Yu, Wenqiang Xu, Pengfei Xie, Yutong Li, Cewu Lu,
- Abstract要約: ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。
DF-Fieldは分散力認識型接触表現モデルである。
剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
- 参考スコア（独自算出の注目度）: 52.36691633451968
- License:
- Abstract: We present ViTaM-D, a novel visual-tactile framework for dynamic hand-object interaction reconstruction, integrating distributed tactile sensing for more accurate contact modeling. While existing methods focus primarily on visual inputs, they struggle with capturing detailed contact interactions such as object deformation. Our approach leverages distributed tactile sensors to address this limitation by introducing DF-Field. This distributed force-aware contact representation models both kinetic and potential energy in hand-object interaction. ViTaM-D first reconstructs hand-object interactions using a visual-only network, VDT-Net, and then refines contact details through a force-aware optimization (FO) process, enhancing object deformation modeling. To benchmark our approach, we introduce the HOT dataset, which features 600 sequences of hand-object interactions, including deformable objects, built in a high-precision simulation environment. Extensive experiments on both the DexYCB and HOT datasets demonstrate significant improvements in accuracy over previous state-of-the-art methods such as gSDF and HOTrack. Our results highlight the superior performance of ViTaM-D in both rigid and deformable object reconstruction, as well as the effectiveness of DF-Field in refining hand poses. This work offers a comprehensive solution to dynamic hand-object interaction reconstruction by seamlessly integrating visual and tactile data. Codes, models, and datasets will be available.
- Abstract（参考訳）: ViTaM-Dは動的手動物体間相互作用を再現する新しい視覚触覚フレームワークであり,より正確な接触モデリングのための分散触覚センサを統合している。
既存の手法は主に視覚的な入力に焦点を当てているが、それらは物体の変形のような詳細な接触相互作用を捉えるのに苦労している。
提案手法は,DF-Fieldの導入により,この制限に対処するために,分散触覚センサを利用する。
この分散力認識接触表現モデルは、手-物体相互作用における運動エネルギーとポテンシャルエネルギーの両方をモデル化する。
ViTaM-Dは、まず視覚のみのネットワークであるVDT-Netを用いて手動物体の相互作用を再構築し、その後、力認識最適化(FO)プロセスを通じて接触詳細を洗練し、オブジェクトの変形モデリングを強化する。
本稿では,高精度なシミュレーション環境で構築された変形可能なオブジェクトを含む600のハンドオブジェクトインタラクションを特徴とするHOTデータセットを提案する。
DexYCBとHOTのデータセットに対する大規模な実験は、gSDFやHOTrackといった従来の最先端の手法よりも精度が大幅に向上したことを示している。
以上の結果から, 剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能と, 補修手ポーズにおけるDF-Fieldの有効性が示された。
この研究は、視覚と触覚のデータをシームレスに統合することで、動的ハンドオブジェクトのインタラクション再構築に対する包括的ソリューションを提供する。
コード、モデル、データセットが利用可能になる。
関連論文リスト
- A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。
CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。
本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
論文 参考訳（メタデータ） (2024-07-31T08:42:48Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of
Hand-Object Interaction [19.957593804898064]
ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。
私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。
提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:09:12Z) - Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。
シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
論文 参考訳（メタデータ） (2023-03-25T15:16:31Z) - HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable
Objects [8.711239906965893]
HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。
提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
論文 参考訳（メタデータ） (2023-01-18T16:55:15Z) - Stability-driven Contact Reconstruction From Monocular Color Images [7.427212296770506]
物理的接触は、手動状態の復元にさらなる制約を与える。
既存の手法では、接触ラベル付きデータセットから距離閾値または事前に駆動される手動接触を最適化する。
我々のキーとなる考え方は、単分子画像から直接接触パターンを再構築し、シミュレーションの物理的安定性基準を利用して最適化することである。
論文 参考訳（メタデータ） (2022-05-02T12:23:06Z) - ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object
Manipulation [135.10594078615952]
本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。
ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。
我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
論文 参考訳（メタデータ） (2022-03-14T04:56:55Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。
物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
論文 参考訳（メタデータ） (2021-01-12T12:55:53Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2020-06-28T09:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。