論文の概要: OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction
- arxiv url: http://arxiv.org/abs/2512.16842v1
- Date: Thu, 18 Dec 2025 18:18:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-19 18:10:32.1998
- Title: OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction
- Title(参考訳): OPENTOUCH: 実世界のインタラクションにフルハンドタッチを実現する
- Authors: Yuxin Ray Song, Jinzhou Li, Rao Fu, Devin Murphy, Kaichen Zhou, Rishi Shiv, Yaqi Li, Haoyu Xiong, Crystal Elaine Owens, Yilun Du, Yiyue Luo, Xianyi Cheng, Antonio Torralba, Wojciech Matusik, Paul Pu Liang,
- Abstract要約: OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
- 参考スコア(独自算出の注目度): 93.88239833545623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The human hand is our primary interface to the physical world, yet egocentric perception rarely knows when, where, or how forcefully it makes contact. Robust wearable tactile sensors are scarce, and no existing in-the-wild datasets align first-person video with full-hand touch. To bridge the gap between visual perception and physical interaction, we present OpenTouch, the first in-the-wild egocentric full-hand tactile dataset, containing 5.1 hours of synchronized video-touch-pose data and 2,900 curated clips with detailed text annotations. Using OpenTouch, we introduce retrieval and classification benchmarks that probe how touch grounds perception and action. We show that tactile signals provide a compact yet powerful cue for grasp understanding, strengthen cross-modal alignment, and can be reliably retrieved from in-the-wild video queries. By releasing this annotated vision-touch-pose dataset and benchmark, we aim to advance multimodal egocentric perception, embodied learning, and contact-rich robotic manipulation.
- Abstract(参考訳): 人間の手は物理的世界に対する私たちの第一のインターフェースですが、人間中心の知覚はいつ、どこで、どのように接触するかをほとんど知らないのです。
ウェアラブルの触覚センサーは乏しく、既存のWildのデータセットは、一対一のビデオをフルタッチで一致させていない。
視覚的知覚と物理的相互作用のギャップを埋めるために,私たちは,5.1時間の同期ビデオタッチ位置データと,詳細なテキストアノテーション付き2,900のキュレートされたクリップを含む,最初の,ワイヤ内でのエゴシックなフルハンド触覚データセットであるOpenTouchを紹介した。
OpenTouchを用いて,タッチの知覚と動作を調査する検索と分類ベンチマークを導入する。
触覚信号は, 理解し理解し, クロスモーダルなアライメントを強化するための, コンパクトかつ強力なキューを提供し, ワイド映像クエリから確実に検索可能であることを示す。
この注釈付き視覚触覚データセットとベンチマークをリリースすることにより、マルチモーダルな自我中心の認識、具体的学習、コンタクトリッチなロボット操作を促進することを目指している。
関連論文リスト
- RA-Touch: Retrieval-Augmented Touch Understanding with Enriched Visual Data [10.059624183053499]
視覚触覚は、テクスチャ、柔らかさ、剛性などの物体の触覚特性を理解することを目的としている。
我々は,触覚のセマンティクスに富んだ視覚データを活用することで,視触覚知覚を改善する検索拡張フレームワークであるRA-Touchを紹介する。
論文 参考訳(メタデータ) (2025-05-20T12:23:21Z) - EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。
本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
論文 参考訳(メタデータ) (2024-09-03T18:53:32Z) - Imagine2touch: Predictive Tactile Sensing for Robotic Manipulation using Efficient Low-Dimensional Signals [9.202784204187878]
imagine2touchは、タッチする領域を表す視覚的パッチに基づいて、期待されるタッチ信号を予測することを目的としている。
ReSkinは安価でコンパクトなタッチセンサーで必要なデータセットを収集します。
imagine2touchは、オブジェクト毎の10タッチ後に58%のオブジェクト認識精度を達成し、プロプレセプションベースラインを超える。
論文 参考訳(メタデータ) (2024-05-02T11:33:54Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳(メタデータ) (2024-04-25T17:59:41Z) - PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
低次元センサ信号に高次元構造情報をリンクするPseudoTouchを提案する。
低次元の視覚触覚埋め込みを学習し、そこから触覚信号を復号する深度パッチを符号化する。
学習したPseudoTouchモデルの有用性を、物体認識と把握安定性予測という2つの下流タスクで実証する。
論文 参考訳(メタデータ) (2024-03-22T10:51:31Z) - Binding Touch to Everything: Learning Unified Multimodal Tactile
Representations [29.76008953177392]
複数モードに接続された視覚ベースのタッチセンサの統一モデルであるUniTouchを紹介する。
我々は、すでに様々なモダリティに関連付けられている事前訓練済みのイメージ埋め込みに、UniTouchの埋め込みを合わせることで、これを実現する。
さらに、学習可能なセンサ固有のトークンを提案し、不均一な触覚センサの集合からモデルを学習できるようにする。
論文 参考訳(メタデータ) (2024-01-31T18:59:57Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳(メタデータ) (2022-11-22T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。