論文の概要: Touch-JEPA: Tactile Representation Learning from Hand-Object Video with Limited Tactile Supervision
- arxiv url: http://arxiv.org/abs/2610.28519v1
- Date: Tue, 20 Oct 2026 16:56:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.937482
- Title: Touch-JEPA: Tactile Representation Learning from Hand-Object Video with Limited Tactile Supervision
- Title（参考訳）: Touch-JEPA: 触覚スーパービジョンを限定した手動映像からの触覚表現学習
- Abstract要約: 触覚を限定した手動映像から触覚表現を学習するためのフレームワークであるTouch-JEPAを提案する。
まず,触覚を使わずにビデオから学習する,自己指導型事前学習の目標について紹介する。
そして、この定式化を共同表現学習に拡張し、すべてのビデオにマスク付き予測を適用する。
- 参考スコア（独自算出の注目度）: 32.84112708120821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding contact and tactile magnitude in hand-object interaction is a key step toward physically intelligent systems, yet learning such representations is limited by the cost and restricted coverage of tactile measurements. We present Touch-JEPA, a framework for learning tactile representations from hand-object videos with limited tactile supervision. We first introduce a self-supervised pretraining objective that learns from video alone without tactile supervision. Using video-derived hand geometry, Touch-JEPA predicts masked visual features at corresponding hand-surface locations from spatial and temporal context, encouraging the representation to capture latent contact dynamics. We then extend this formulation to joint representation learning, where masked prediction is applied to all videos while tactile supervision is available only for a labeled subset, grounding the shared representation in measured contact and magnitude. With self-supervised pretraining alone, simple supervised readouts on frozen Touch-JEPA features outperform supervised baselines in contact discrimination and tactile magnitude estimation across three human-hand benchmarks, and transfer to robotic hands without robot tactile training data. Joint learning with limited tactile supervision further improves contact and magnitude estimation on the human-hand benchmarks. Together, these results show that hand-object video can provide scalable self-supervision for tactile representation learning, while limited tactile measurements provide complementary physical grounding.
- Abstract（参考訳）: 手動物体の相互作用における接触や触覚の大きさを理解することは、物理的にインテリジェントなシステムへの重要なステップであるが、そのような表現の学習は、触覚測定のコストと制限範囲によって制限される。
触覚を限定した手動映像から触覚表現を学習するためのフレームワークであるTouch-JEPAを提案する。
まず,触覚を使わずにビデオから学習する,自己指導型事前学習の目標について紹介する。
Touch-JEPAは、ビデオ由来の手形状を用いて、空間的および時間的文脈から、対応する手地におけるマスク付き視覚特徴を予測する。
次に、この定式化を共同表現学習に拡張し、すべてのビデオにマスク付き予測を適用し、ラベル付きサブセットに対してのみ触覚監視を行い、測定された接触と大きさの共有表現を根拠とする。
自己教師付き事前トレーニングだけで、凍結したTouch-JEPA上の単純な教師付き読み出しは、3つの人手ベンチマークで接触識別と触覚度の推定において教師付きベースラインを上回っ、ロボットの触覚トレーニングデータなしでロボットハンドに転送する。
触覚の監督を限定した共同学習は、人手ベンチマークの接触と大きさの推定をさらに改善する。
これらの結果から,手動映像は触覚表現学習のためのスケーラブルな自己監督を提供する一方で,触覚測定の制限は相補的な身体的接地を提供することが示された。
関連論文リスト
- RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning [63.13832695270861]
本稿では,ビデオファウンデーションモデルに基づく手追跡モデルを提案する。
モノクラー・エゴセントリックなビデオから手ポーズとリアルな触覚情報を推定する。
ポーズ推定のために、さまざまなベンチマークデータセットで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-10-07T05:11:50Z) - Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors [2.4125773245468927]
本稿では,触覚エンコーダの自己教師型事前学習手法であるTactile-JEPAを提案する。
Tactile-JEPAは、従来の最先端技術に比べて、力推定誤差を6.3%減らし、手前方向誤差を20.8%減らしている。
論文 参考訳（メタデータ） (2026-09-21T10:22:06Z) - TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation [7.514180931864231]
我々は,高密度全手接触力予測のための単眼自我中心型視覚フレームワークであるTouchSightを提案する。
TwinTouch-20H: 20時間ペアの視覚データを構築し, 生成的ビデオモデルが手作業で記録した記録を手作業で再現する。
TouchSightは、光沢のあるビデオと生成された裸手ビデオの両方から高密度な力を予測し、OakInk2の以前の接触予測方法より優れています。
論文 参考訳（メタデータ） (2026-09-17T13:58:43Z) - τ: Learning Touch-Augmented Vision-Language-Action Models from Future Visual Supervision [43.426795127841075]
本稿では,視覚の視覚的監視から触覚表現を学習するタッチ拡張型視覚・言語・アクション(VLA)フレームワークを提案する。
また、4つの代表的なコンタクトリッチな操作タスクにまたがって、同期視覚、プロプレセプション、および視覚ベースの触覚信号のデータセットであるTacAuraを紹介する。
論文 参考訳（メタデータ） (2026-07-27T14:25:15Z) - UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models [32.87879913150572]
コンタクトリッチな操作のための統合された触覚学習フレームワークを提案する。
提案手法は,既存手法よりも成功率,操作精度,接触堅牢性を向上することを示す。
論文 参考訳（メタデータ） (2026-06-30T14:24:00Z) - Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention [53.84395207661823]
触覚非対称注意機構(TAAM)を備えたタッチ対応WAMであるTactile-WAMを提案する。
ManiFeelでは、Tactile-WAMは平均成功率を38.9%改善し、コンタクトリッチタスクでは86%改善した。
論文 参考訳（メタデータ） (2026-06-25T06:54:56Z) - TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。
TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。
高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
論文 参考訳（メタデータ） (2026-01-28T04:22:47Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。