論文の概要: HOPE: Hand-Object Pressure Estimation from Monocular Videos
- arxiv url: http://arxiv.org/abs/2608.06192v1
- Date: Thu, 06 Aug 2026 15:51:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.785275
- Title: HOPE: Hand-Object Pressure Estimation from Monocular Videos
- Title(参考訳): HOPE:モノクロ映像から手動による圧力推定
- Authors: Subin Jeon, Byungjun Kim, Hanbyul Joo,
- Abstract要約: 圧力推定は、様々な物体との動的手-物体相互作用に適用することは困難である。
単眼映像を入力として手中心映像予測問題として圧力推定を定式化する。
2つのキーコンポーネントを持つフレームワークである textbfHOPE を提案する。
- 参考スコア(独自算出の注目度): 25.44410964778365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating physical pressure from vision is essential for understanding contact-rich hand-object interaction. However, prior vision-based pressure estimation methods are largely limited to planar surfaces and single image input, making them difficult to apply to dynamic hand-object interaction with diverse objects. We instead formulate pressure estimation as a hand-centric video prediction problem with monocular video as input. This formulation predicts temporally evolving per-vertex normal pressure and contact directly on the hand mesh, yielding a unified output space independent of object shape and sensor layout. Building on this formulation, we propose \textbf{HOPE}, a framework with two key components. First, we lift tactile-glove pressure, planar-sensor pressure, and distance-based hand-object contact annotations into a shared hand vertex space, allowing bare-hand contact data to regularize pressure learning where metric labels are unavailable. Second, we introduce a vertex-anchored video transformer that treats each vertex as a persistent token, aggregates visual features and hand pose over time, and uses a contact-gated pressure head to enforce that pressure vanishes without contact. Experiments on OpenTouch, PressureVisionDB, and hand-object contact benchmarks validate HOPE across object-pressure, surface-pressure, and contact-supervised HOI settings. Despite using metric pressure supervision primarily from gloved-hand videos, HOPE generalizes to bare-hand egocentric and in-the-wild videos, producing joint contact and pressure predictions beyond the scope of contact-only or planar-pressure baselines.
- Abstract(参考訳): 視覚から物理的圧力を推定することは、接触に富んだ手-物体の相互作用を理解するのに不可欠である。
しかし、従来の視覚に基づく圧力推定法は平面面や単一画像入力に限られており、多様な物体との動的手・物体の相互作用に適用することは困難である。
代わりに、単眼映像を入力として手中心映像予測問題として圧力推定を定式化する。
この定式化は、頂点毎の常圧が時間的に変化することを予測し、ハンドメッシュに直接接触し、オブジェクト形状やセンサレイアウトとは無関係に出力空間を統一する。
この定式化に基づいて,2つのキーコンポーネントを持つフレームワークであるtextbf{HOPE}を提案する。
まず, 触覚手袋圧, 平面センサ圧, 距離ベースハンドオブジェクト接触アノテーションを共用した手頂点空間に持ち上げることにより, 距離ラベルが利用できないような圧力学習を, 素手で行うことができる。
第2に,各頂点を永続トークンとして扱い,視覚的特徴と手振りを時間とともに集約し,接触を伴わない圧力を強制する頂点アンコール型ビデオトランスを導入する。
OpenTouch, PressureVisionDB, および手動の接触ベンチマークの実験は、オブジェクトプレッシャ、表面プレッシャ、およびコンタクト管理されたHOI設定にわたるHOPEを検証する。
HOPEは、主に手袋をはめたビデオからメートル法的な圧力を監督するが、手ぶれのエゴセントリックなビデオや、手ぶれの動画に一般化し、接触のみまたは平面圧のベースラインの範囲を超えて、関節の接触と圧力予測を発生させる。
関連論文リスト
- Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention [53.84395207661823]
触覚非対称注意機構(TAAM)を備えたタッチ対応WAMであるTactile-WAMを提案する。
ManiFeelでは、Tactile-WAMは平均成功率を38.9%改善し、コンタクトリッチタスクでは86%改善した。
論文 参考訳(メタデータ) (2026-06-25T06:54:56Z) - EgoTactile: Learning Grasp Pressure for Everyday Objects from Egocentric Video [82.13376072770363]
没入型VRとロボット操作には、エゴセントリックビデオからのフルハンドグリッププレッシャーの推定が不可欠だ。
EgoTactileは、さまざまな日常オブジェクトに対するフルハンドプレッシャー監視を備えた、エゴセントリックなビデオのベンチマークである。
EgoPressureDiffは、大規模に訓練されたビデオ拡散バックボーンに適応する条件付き拡散フレームワークである。
論文 参考訳(メタデータ) (2026-06-08T09:20:03Z) - EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation [68.71388815638576]
視覚入力から紫外線圧マップを生成する条件付きビデオ拡散フレームワークであるemphEgoPressDiffを提案する。
EgoPressDiffは最先端の結果を達成し、Volumetric IoUを以前のベースラインと比較して34%以上改善した。
論文 参考訳(メタデータ) (2026-06-05T03:40:10Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳(メタデータ) (2025-12-18T18:18:17Z) - EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。
本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
論文 参考訳(メタデータ) (2024-09-03T18:53:32Z) - PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images [23.877554759345607]
ディープモデルは、単一のRGB画像に基づいて手圧力を推定できる。
本稿では,RGBカメラと協力的参加者のみを用いて,多様なデータをキャプチャ可能な新しいアプローチを提案する。
pressureVision++ の混合現実への応用を実演し、毎日の表面をタッチに敏感なインターフェースとして利用できるようにする。
論文 参考訳(メタデータ) (2023-01-05T21:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。