論文の概要: Detecting Precise Hand Touch Moments in Egocentric Video
- arxiv url: http://arxiv.org/abs/2604.12343v1
- Date: Tue, 14 Apr 2026 06:30:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.284196
- Title: Detecting Precise Hand Touch Moments in Egocentric Video
- Title（参考訳）: エゴセントリックビデオにおける手触りの精密検出
- Authors: Huy Anh Nguyen, Feras Dayoub, Minh Hoai,
- Abstract要約: フレームレベルの検出は、拡張現実、人間とコンピュータのインタラクション、補助技術、ロボット学習アプリケーションに不可欠である。
本研究では,手動領域とその周辺環境の時間的特徴を生かしたHand-informed Context Enhanced Module (HiCE)を提案する。
また、100万フレームを超える8,456の注釈付きコンタクトモーメントを含む、エゴセントリックなデータセットであるTouchMomentも導入しました。
- 参考スコア（独自算出の注目度）: 24.372080074941298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the challenging task of detecting the precise moment when hands make contact with objects in egocentric videos. This frame-level detection is crucial for augmented reality, human-computer interaction, assistive technologies, and robot learning applications, where contact onset signals action initiation or completion. Temporally precise detection is particularly challenging due to subtle hand motion variations near contact, frequent occlusions, fine-grained manipulation patterns, and the inherent motion dynamics of first-person perspectives. To tackle these challenges, we propose a Hand-informed Context Enhanced module (HiCE; pronounced `high-see') that leverages spatiotemporal features from hand regions and their surrounding context through cross-attention mechanisms, learning to identify potential contact patterns. Our approach is further refined with a grasp-aware loss and soft label that emphasizes hand pose patterns and movement dynamics characteristic of touch events, enabling the model to distinguish between near-contact and actual contact frames. We also introduce TouchMoment, an egocentric dataset containing 4,021 videos and 8,456 annotated contact moments spanning over one million frames. Experiments on TouchMoment show that, under a strict evaluation criterion that counts a prediction as correct only if it falls within a two-frame tolerance of the ground-truth moment, our method achieves substantial gains and outperforms state-of-the-art event-spotting baselines by 16.91% average precision.
- Abstract（参考訳）: 我々は、自我中心の動画において、手が物体と接触する正確な瞬間を検出するという課題に対処する。
このフレームレベルの検出は、コンタクトオンセット信号の動作開始や完了を行う拡張現実、人間とコンピュータのインタラクション、補助技術、ロボット学習アプリケーションに不可欠である。
接触付近の微妙な手の動きの変化、頻繁な閉塞、きめ細かい操作パターン、そして一人称視点の固有の動きのダイナミクスにより、時間的に正確な検出は特に困難である。
これらの課題に対処するため,ハンドインフォームドコンテキスト拡張モジュール (HiCE; high-see) を提案する。
本手法は,触覚イベントの特徴である手振りパターンや動きのダイナミクスを強調し,接触フレームと接触フレームを識別するソフトラベルとグリップ・アウェア・ロスを併用することでさらに洗練されている。
また、100万フレームを超える8,456の注釈付きコンタクトモーメントを含む、エゴセントリックなデータセットであるTouchMomentも導入しました。
TouchMomentの実験では,2フレームの耐震モーメントに該当する場合のみ予測を正当と判断する厳密な評価基準の下で,本手法は精度の高いゲインを達成し,最先端のイベントスポッティングベースラインを平均16.91%上回る性能を示した。
関連論文リスト
- HandX: Scaling Bimanual Motion and Interaction Generation [55.486397101415]
HandXはデータ、アノテーション、評価にまたがる統一された基盤である。
既存のデータセットを統合・フィルタリングし、新しいモーションキャプチャーデータセットを収集します。
新たに提案した手中心の指標によって支援された高品質なデキスタラスモーション生成実験を行った。
論文 参考訳（メタデータ） (2026-03-30T17:59:49Z) - Learning to Feel the Future: DreamTacVLA for Contact-Rich Manipulation [14.221542785249524]
本稿では,VLAモデルを接点物理学の基盤として,未来感を学習するフレームワークであるDreamTacVLAを紹介する。
我々のモデルは、高解像度の触覚画像がマイクロビジョン入力として機能する階層的認識方式を採用している。
より詳細な接触力学の理解を深めるために,将来的な触覚信号を予測する触覚世界モデルを用いてシステムを微調整する。
論文 参考訳（メタデータ） (2025-12-29T21:06:33Z) - Hand-Aware Egocentric Motion Reconstruction with Sequence-Level Context [17.735273173582716]
本稿では,頭部軌跡と間欠的に見える手探触子を直接条件とする,最初の手認識型シーケンスレベルの拡散フレームワークHaMoSを提案する。
また, 身体形状や視野といったシーケンスレベルのコンテキストが, 正確な運動再構成に不可欠であることを示す。
論文 参考訳（メタデータ） (2025-12-22T11:26:41Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - Capturing complex hand movements and object interactions using machine learning-powered stretchable smart textile gloves [9.838013581109681]
手の動きをリアルタイムに追跡することは、人間とコンピュータの相互作用、メタバース、ロボット工学、遠隔医療に多くの応用がある。
そこで本研究では, 伸縮性, 洗浄性を有するスマートグローブ, ヘリカルセンサ糸, 慣性測定ユニットを用いた手指運動の高精度かつダイナミックな追跡を報告する。
センサ糸は高いダイナミックレンジを有し, 0.005 %の低い155 %のひずみに応答し, 広範囲の使用および洗浄サイクルの安定性を示す。
論文 参考訳（メタデータ） (2024-10-03T05:32:16Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳（メタデータ） (2024-03-25T05:12:21Z) - Novel-view Synthesis and Pose Estimation for Hand-Object Interaction
from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。
まず,手や物体の形状や外観を,神経表現と別々に学習する。
オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文 参考訳（メタデータ） (2023-08-22T05:17:41Z) - Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。
入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。
実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-09-15T17:05:02Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。