論文の概要: Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation

• arxiv url: http://arxiv.org/abs/2411.09572v2
• Date: Wed, 09 Jul 2025 07:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 15:30:51.938376
• Title: Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation
• Title（参考訳）: 分散力覚接触表現を用いた物体間相互作用の動的再構成
• Authors: Zhenjun Yu, Wenqiang Xu, Pengfei Xie, Yutong Li, Brian W. Anthony, Zhuorui Zhang, Cewu Lu,
• Abstract要約: ViTaM-Dは、動的手・物体の相互作用を分散触覚で再構築するための視覚触覚フレームワークである。 DF-Fieldは手動物体相互作用における運動エネルギーとポテンシャルエネルギーを利用する力覚接触表現である。 ViTaM-Dは、剛性および変形性の両方のオブジェクトの復元精度において、最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 47.940270914254285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ViTaM-D, a novel visual-tactile framework for reconstructing dynamic hand-object interaction with distributed tactile sensing to enhance contact modeling. Existing methods, relying solely on visual inputs, often fail to capture occluded interactions and object deformation. To address this, we introduce DF-Field, a distributed force-aware contact representation leveraging kinetic and potential energy in hand-object interactions. ViTaM-D first reconstructs interactions using a visual network with contact constraint, then refines contact details through force-aware optimization, improving object deformation modeling. To evaluate deformable object reconstruction, we introduce the HOT dataset, featuring 600 hand-object interaction sequences in a high-precision simulation environment. Experiments on DexYCB and HOT datasets show that ViTaM-D outperforms state-of-the-art methods in reconstruction accuracy for both rigid and deformable objects. DF-Field also proves more effective in refining hand poses and enhancing contact modeling than previous refinement methods. The code, models, and datasets are available at https://sites.google.com/view/vitam-d/.
• Abstract（参考訳）: ViTaM-Dは,触覚の分散センシングによる動的ハンドオブジェクトインタラクションを再構築し,接触モデリングを向上する新しい視覚触覚フレームワークである。 既存の手法は、視覚的な入力にのみ依存しており、隠蔽された相互作用や物体の変形を捉えるのに失敗することが多い。 DF-Fieldは手動物体相互作用における運動エネルギーとポテンシャルエネルギーを利用する分散力認識接触表現である。 ViTaM-Dは、まず、接触制約のある視覚ネットワークを用いて相互作用を再構築し、その後、力認識最適化により接触詳細を洗練し、オブジェクトの変形モデリングを改善する。 変形可能なオブジェクト再構成を評価するため,高精度なシミュレーション環境において,600個のハンドオブジェクトインタラクションシーケンスを特徴とするHOTデータセットを提案する。 DexYCBとHOTデータセットの実験により、ViTaM-Dは、剛性および変形性の両方のオブジェクトの復元精度において、最先端の手法よりも優れていることが示された。 DF-Fieldはまた、従来の精細化法よりも手ポーズの精細化や接触モデリングの強化に効果があることを証明している。 コード、モデル、データセットはhttps://sites.google.com/view/vitam-d/で確認できる。

関連論文リスト

• Guiding Human-Object Interactions with Rich Geometry and Relations [21.528466852204627]
  既存の手法では、物体の遠心点や人間に最も近い点のような単純化された物体表現に頼り、物理的に可算な運動を達成する。 ROGは、HOIに固有の関係をリッチな幾何学的詳細で表現する新しいフレームワークである。 ROGは, 合成HOIのリアリズム評価と意味的精度において, 最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-26T02:57:18Z)
• Aligning Foundation Model Priors and Diffusion-Based Hand Interactions for Occlusion-Resistant Two-Hand Reconstruction [50.952228546326516]
  単眼画像からの両手再建は、複雑でダイナミックな手の位置や閉塞が原因で、永続的な課題に直面している。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 本研究では,基礎モデルに基づく2次元先行モデルと拡散に基づく相互作用改善を組み込むことにより,手振りとインタラクションを正確に整合させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-22T14:42:27Z)
• Re-HOLD: Video Hand Object Interaction Reenactment via adaptive Layout-instructed Diffusion Model [72.90370736032115]
  本稿では,適応的レイアウト指示拡散モデル(Re-HOLD)によるヒューマンオブジェクトインタラクション(HOI)に着目した新しいビデオ再現フレームワークを提案する。 私たちのキーとなる洞察は、それぞれ手とオブジェクトに特別なレイアウト表現を採用することです。 HOIの生成品質をさらに向上するため,手と物体の対話型音質向上モジュールを設計した。
  論文  参考訳（メタデータ） (2025-03-21T08:40:35Z)
• ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting [66.29782808719301]
  コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。 既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。 3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
  論文  参考訳（メタデータ） (2025-02-26T10:25:32Z)
• HOGSA: Bimanual Hand-Object Interaction Understanding with 3D Gaussian Splatting Based Data Augmentation [29.766317710266765]
  本稿では,2次元手動物体間相互作用のための3次元ガウススプラッティングに基づくデータ拡張フレームワークを提案する。 メッシュベースの3DGSを用いてオブジェクトとハンドをモデル化し、マルチレゾリューション入力画像によるレンダリングのぼかし問題に対処する。 両手オブジェクトに対する片手握りポーズ最適化モジュールを拡張し、両手オブジェクト間相互作用のさまざまなポーズを生成する。
  論文  参考訳（メタデータ） (2025-01-06T08:48:17Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction [19.957593804898064]
  ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。 私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。 提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
  論文  参考訳（メタデータ） (2024-02-08T10:09:12Z)
• Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
  我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。 シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
  論文  参考訳（メタデータ） (2023-03-25T15:16:31Z)
• HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable Objects [8.711239906965893]
  HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。 提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
  論文  参考訳（メタデータ） (2023-01-18T16:55:15Z)
• Stability-driven Contact Reconstruction From Monocular Color Images [7.427212296770506]
  物理的接触は、手動状態の復元にさらなる制約を与える。 既存の手法では、接触ラベル付きデータセットから距離閾値または事前に駆動される手動接触を最適化する。 我々のキーとなる考え方は、単分子画像から直接接触パターンを再構築し、シミュレーションの物理的安定性基準を利用して最適化することである。
  論文  参考訳（メタデータ） (2022-05-02T12:23:06Z)
• ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object Manipulation [135.10594078615952]
  本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。 ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。 我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-14T04:56:55Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
  本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。 我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。 物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
  論文  参考訳（メタデータ） (2021-01-12T12:55:53Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。