論文の概要: TactoHand: Learning Geometry-Based Dense Hand-Surface Interaction Fields from Video

• arxiv url: http://arxiv.org/abs/2610.39585v1
• Date: Thu, 29 Oct 2026 08:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:17:51.437829
• Title: TactoHand: Learning Geometry-Based Dense Hand-Surface Interaction Fields from Video
• Title（参考訳）: TactoHand:ビデオから幾何学に基づく高密度手表面インタラクションフィールドを学習する
• Abstract要約: モノクロビデオから3つの高密度手表面相互作用場を予測するモデルであるTactoHandを紹介する。 我々は、適格なトレーニングデータから、幾何学に基づく接触・近接ラベルと運動由来の力ラベルを導出する。 その結果,触覚測定を行なわずに手地相互作用場を学習するための,スケーラブルで低コストな経路が示された。
• 参考スコア（独自算出の注目度）: 25.498887239829475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how humans interact with the world requires a representation of physical interactions at the hand surface. Tactile sensing captures these interactions, but collecting tactile data at scale requires specialized hardware. We introduce TactoHand, a model that predicts three dense hand-surface interaction fields---contact, proximity, and 3D force---from monocular video. We derive geometry-based contact and proximity labels and motion-derived force labels from eligible training data within a curated collection spanning approximately 50 million source frames. TactoHand uses a temporal transformer to aggregate visual evidence across frames, while three learned queries decode the corresponding hand-surface fields. A differentiable physics layer further constrains force predictions using observed object motion. Across in-domain and out-of-domain benchmarks, TactoHand improves contact and proximity estimation over prior methods. In addition, physics supervision reduces position and rotation errors in motion rollouts, and the predicted contact and proximity fields improve downstream hand-object reconstruction. Together, these results show a scalable, low-cost path to learning hand-surface interaction fields without collecting tactile measurements. Code will be released at https://github.com/zhenqis123/Tactohand.
• Abstract（参考訳）: 人間が世界とどのように相互作用するかを理解するには、手表面での物理的相互作用の表現が必要である。 触覚センサーはこれらのインタラクションをキャプチャするが、触覚データを大規模に収集するには特別なハードウェアが必要である。 モノクロビデオから, 接触, 近接, 3次元力の3つの密接な相互作用場を予測するモデルであるTactoHandを紹介する。 我々は、約5000万のソースフレームにまたがるキュレートされたコレクション内のトレーニングデータから、幾何学に基づく接触・近接ラベルと運動由来の力ラベルを導出する。 TactoHandは時間変換器を使用してフレーム全体にわたる視覚的証拠を集約し、3つの学習されたクエリは対応する手表面のフィールドをデコードする。 微分可能な物理層は、観測対象運動を用いた力予測をさらに制約する。 ドメイン内およびドメイン外ベンチマーク全体において、TactoHandは、以前のメソッドよりもコンタクトと近接推定を改善している。 さらに、物理監督は移動ロールアウトにおける位置と回転誤差を低減し、予測された接触場と近接場は下流手オブジェクトの再構成を改善する。 これらの結果は,触覚測定を収集することなく手地相互作用場を学習するための,スケーラブルで低コストな経路を示す。 コードはhttps://github.com/zhenqis123/Tactohand.comでリリースされる。

関連論文リスト

• Grasp, Slide, Roll: Comparative Analysis of Contact Modes for Tactile-Based Shape Reconstruction [5.441555196600574]
  本稿では,触覚機能付きデキスタラスグリップを用いた物体形状再構成における接触モードの違いがどう影響するかを考察する。 本研究は3つの接触相互作用モード(グリップフリーズ,指の放牧による滑動,手のひらローリング)を比較した。 以上の結果から, 触覚知覚効率の向上は, 形状復元の高速化に寄与し, 34%の物理的相互作用を必要とせず, 再現精度を55%向上させることができた。
  論文  参考訳（メタデータ） (2026-02-26T16:53:59Z)
• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• How Do I Do That? Synthesizing 3D Hand Motion and Contacts for Everyday Interactions [13.854929222017121]
  我々は,RGBビュー,アクションテキスト,オブジェクト上の3次元接触点を入力として,3次元手の動きと接触地図(または対話軌跡)を予測するという新たな課題に取り組む。 本手法は,(1)手ポーズと接触点の潜在コードブックを学習するVQVAEモデル,(2)対話軌跡を効果的にトークン化するInteraction Predictor: テスト時間入力から対話軌跡を予測するTransformer-Decoderモジュールから構成される。
  論文  参考訳（メタデータ） (2025-04-16T17:48:12Z)
• Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction [8.253265795150401]
  本稿では,3Dにおける手-物間相互作用のシーケンスを生成するための最初のテキスト誘導作業について紹介する。 接触生成のために、VAEベースのネットワークはテキストとオブジェクトメッシュを入力として、手の表面とオブジェクトとの間の接触の確率を生成する。 運動生成のために、トランスフォーマーベースの拡散モデルは、この3Dコンタクトマップを、物理的に可塑性な手オブジェクトの動きを生成するための強力な先行手段として利用する。
  論文  参考訳（メタデータ） (2024-03-31T04:56:30Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
  ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。 正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
  論文  参考訳（メタデータ） (2022-04-28T17:23:59Z)
• Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction [27.87570749976023]
  本稿では,手と物体の接触を予測するビデオベース手法を提案する。 多数のハンドオブジェクトトラックやコンタクトラベルに注釈をつけるのはコストがかかる。 i)モーションベース擬似ラベルを用いたトレーニングデータの自動収集と(ii)ガイド付きプログレッシブラベル補正(gPLC)からなる半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。