論文の概要: TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation

• arxiv url: http://arxiv.org/abs/2609.20414v1
• Date: Thu, 17 Sep 2026 13:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.297364
• Title: TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation
• Title（参考訳）: TouchSight:エゴセントリックな動画からの触覚の予測
• Abstract要約: 我々は,高密度全手接触力予測のための単眼自我中心型視覚フレームワークであるTouchSightを提案する。 TwinTouch-20H: 20時間ペアの視覚データを構築し, 生成的ビデオモデルが手作業で記録した記録を手作業で再現する。 TouchSightは、光沢のあるビデオと生成された裸手ビデオの両方から高密度な力を予測し、OakInk2の以前の接触予測方法より優れています。
• 参考スコア（独自算出の注目度）: 7.514180931864231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tactile signals provide direct contact and force measurements that are essential for understanding physical interactions and enabling dexterous robotic manipulation. However, tactile sensing requires direct measurement at contact interfaces, making large-scale data collection reliant on intrusive, costly, and restrictive instrumentation. We present TouchSight, a monocular egocentric vision framework for dense full-hand contact force prediction that leverages 500 hours of pressure-glove recordings and extensive hand-object interaction (HOI) data. To address the appearance gap between gloved training data and bare-hand real-world scenarios, we construct TwinTouch-20H: 20 hours of paired visual data in which generative video models re-render gloved recordings as bare-hand observations against new backgrounds while preserving the original measured tactile labels. TouchSight predicts dense force from both gloved and generated bare-hand videos, outperforms prior contact prediction methods on OakInk2, qualitatively generalizes to natural bare-hand egocentric videos from unseen datasets, and improves consistently as glove supervision scales. These results demonstrate that dense tactile signals can be recovered from egocentric vision alone, without tactile instrumentation at capture time.
• Abstract（参考訳）: 触覚信号は、物理的相互作用を理解し、器用なロボット操作を可能にするために不可欠な直接接触と力の測定を提供する。 しかし、触覚センサーは接触界面での直接測定を必要とし、侵入的、費用がかかる、制限的な機器に依存する大規模なデータ収集を行う。 我々は,500時間の圧力-グローブ記録と広範囲な手-物体相互作用(HOI)データを活用する,高密度フルハンド接触力予測のための単眼自我中心型視覚フレームワークであるTouchSightを提案する。 グラブ付きトレーニングデータと裸手実世界のシナリオの出現ギャップに対処するため、TwinTouch-20H:20時間のペア付きビジュアルデータを構築し、生成したビデオモデルが、元の測定された触覚ラベルを保存しながら、新しい背景に対する裸手観察として再レンダリングした。 TouchSightは、愛らしいビデオと生成された裸手ビデオの両方から高密度な力を予測し、OakInk2の以前の接触予測方法より優れ、定性的に、見えないデータセットから自然の裸手エゴセントリックなビデオに一般化し、手袋の監視尺度として一貫して改善する。 これらの結果は、密集した触覚信号は、捕食時に触覚機器を使わずに、自我中心の視覚のみから回収できることを示している。

関連論文リスト

• EgoTac: In-the-wild Tactile Prediction from Egocentric Vision [33.40360812855072]
  我々は,エゴセントリックな人間ビデオから直接,リッチな触覚情報を予測するモデルであるEgoTacを紹介した。 EgoTacは5.7M以上の画像触覚対の統一コーパスで訓練されている。 常に最先端の接触推定器を上回っている。
  論文  参考訳（メタデータ） (2026-08-15T06:18:13Z)
• EgoTactile: Learning Grasp Pressure for Everyday Objects from Egocentric Video [82.13376072770363]
  没入型VRとロボット操作には、エゴセントリックビデオからのフルハンドグリッププレッシャーの推定が不可欠だ。 EgoTactileは、さまざまな日常オブジェクトに対するフルハンドプレッシャー監視を備えた、エゴセントリックなビデオのベンチマークである。 EgoPressureDiffは、大規模に訓練されたビデオ拡散バックボーンに適応する条件付き拡散フレームワークである。
  論文  参考訳（メタデータ） (2026-06-08T09:20:03Z)
• TouchAnything: A Dataset and Framework for Bimanual Tactile Estimation from Egocentric Video [20.373348802426143]
  EgoTouchは大規模なエゴセントリックなデータセットで、手動オブジェクトのインタラクションを厳密な触覚で監視する。 TouchAnythingは、自我中心のビューを主入力として使用する、視覚と触覚の予測フレームワークである。 データセット、コード、ベンチマークを公開します。
  論文  参考訳（メタデータ） (2026-05-13T06:54:36Z)
• Detecting Precise Hand Touch Moments in Egocentric Video [24.372080074941298]
  フレームレベルの検出は、拡張現実、人間とコンピュータのインタラクション、補助技術、ロボット学習アプリケーションに不可欠である。 本研究では,手動領域とその周辺環境の時間的特徴を生かしたHand-informed Context Enhanced Module (HiCE)を提案する。 また、100万フレームを超える8,456の注釈付きコンタクトモーメントを含む、エゴセントリックなデータセットであるTouchMomentも導入しました。
  論文  参考訳（メタデータ） (2026-04-14T06:30:52Z)
• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
  TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。 TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。 高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
  論文  参考訳（メタデータ） (2026-01-28T04:22:47Z)
• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration [26.351720551267846]
  触覚と審美的知覚は、人間の器用な操作に欠かせないものであり、感覚運動器統合による物体の確実な把握を可能にしている。 本研究では,人間の直感的・自然な操作から模倣学習に基づくロボット実行へのスキル伝達を把握するための,新しい手袋による触覚的知覚予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-10T07:44:12Z)
• EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
  EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。 本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
  論文  参考訳（メタデータ） (2024-09-03T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。