論文の概要: Ego2Contact: Predicting Touch from Egocentric Human Video for Contact-Rich Robot Manipulation

• arxiv url: http://arxiv.org/abs/2610.22932v1
• Date: Fri, 16 Oct 2026 04:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.767247
• Title: Ego2Contact: Predicting Touch from Egocentric Human Video for Contact-Rich Robot Manipulation
• Title（参考訳）: Ego2Contact:コンタクトリッチロボット操作のための人間中心ビデオからのタッチ予測
• Abstract要約: 接触位置と相互作用力は、接触に富むロボット操作には重要であるが、視力だけでは曖昧であることが多い。 触覚手袋と組み合わせたエゴセントリックな録音を訓練した最近の予測器は、ビデオだけでこの行方不明信号を予測することができる。 Ego2Contactは、人間のインタラクションから視覚触覚を学習し、ロボットの手に移す。
• 参考スコア（独自算出の注目度）: 46.17380143088581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contact locations and interaction forces are critical for contact-rich robot manipulation but are often ambiguous from vision alone. Measuring them on robots requires specialized tactile hardware and platform-specific data collection, which keeps robot tactile data scarce. Human egocentric video is far easier to scale but lacks touch. Recent predictors trained on egocentric recordings paired with tactile-glove measurements can predict this missing signal from video alone. These predictors, however, remain confined to human hands, which differ from robot hands in appearance and tactile layout. We present Ego2Contact, which learns a visual-tactile prior from human interactions and transfers it to robot hands. Its predictor fuses temporal scene context with hand-local visual features to infer bimanual tactile fields from the RGB video. Anatomical region correspondences align varying robot tactile layouts with the predictor's canonical grid, turning robot measurements into fine-tuning targets and predictions into policy inputs. Ego2Contact outperforms prior tactile predictors on human data, including unseen objects, and on robot data after adaptation. The adapted predictor provides tactile inputs for both simulated reinforcement learning and real-robot policy post-training. In simulation, policies using predicted touch outperform non-tactile baselines and recover part of the benefit of ground-truth tactile sensing. These results show that human-learned tactile priors can supply touch when direct tactile sensing is limited.
• Abstract（参考訳）: 接触位置と相互作用力は、接触に富むロボット操作には重要であるが、視力だけでは曖昧であることが多い。 ロボットでそれらを測定するには、特殊な触覚ハードウェアとプラットフォーム固有のデータ収集が必要である。 人間の自我中心のビデオはスケールがはるかに簡単だが、タッチが欠けている。 触覚手袋と組み合わせたエゴセントリックな録音を訓練した最近の予測器は、ビデオだけでこの行方不明信号を予測することができる。 しかし、これらの予測器は人間の手に限定されており、見た目のロボットの手と触覚のレイアウトが異なる。 Ego2Contactは、人間のインタラクションから視覚触覚を学習し、ロボットの手に移す。 その予測器は、時間的シーンコンテキストと手動の視覚的特徴を融合させ、RGBビデオからバイマティックな触覚場を推定する。 解剖学的領域の対応は、様々なロボットの触覚レイアウトを予測器の標準格子と整合させ、ロボット計測を微調整対象とし、予測をポリシー入力に変換する。 Ego2Contactは、人間のデータ、目に見えない物体、適応後のロボットデータにおいて、事前の触覚予測よりも優れています。 適応型予測器は、模擬強化学習と実ロボットの訓練後ポリシーの両方に触覚入力を提供する。 シミュレーションでは、予測タッチによる非触覚ベースラインの性能向上と、地中触覚センサの利点の回復を図った。 これらの結果から,ヒトの触覚前駆体は触覚の触覚が制限された場合に触覚を供給できることが示唆された。

関連論文リスト

• TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning [103.68709128626244]
  我々は、単一の統一ウェアラブルセットアップで記録されたコンタクトリッチなヒューマンインタラクションのデータセットであるTouchScaleを紹介した。 TouchScaleのトレーニングでは、目に見えない触覚センサからのデータから、ゼロショットコンタクトIoUが0.134から0.383に上昇する。 TouchScaleは、4つのコンタクトリッチな操作タスクの平均的な実世界の成功率を22.5%から57.5%に改善している。
  論文  参考訳（メタデータ） (2026-10-07T15:49:41Z)
• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation [41.81471936916666]
  DexTouch-WMは、スケーラブルな人間の触覚から学習し、将来のRGB観測と両眼触覚のダイナミクスを共同で予測するアクション条件付き世界モデルである。 人間の手と器用なロボット手の両方に、センサレイアウトを共有化して、柔軟なピエゾ抵抗配列を配置する。 人間とロボットのタスクセットが不一致であるにもかかわらず、保持されたロボット領域の視覚的、幾何学的、接触予測の大幅な改善が観察された。
  論文  参考訳（メタデータ） (2026-09-17T16:28:34Z)
• EgoTac: In-the-wild Tactile Prediction from Egocentric Vision [33.40360812855072]
  我々は,エゴセントリックな人間ビデオから直接,リッチな触覚情報を予測するモデルであるEgoTacを紹介した。 EgoTacは5.7M以上の画像触覚対の統一コーパスで訓練されている。 常に最先端の接触推定器を上回っている。
  論文  参考訳（メタデータ） (2026-08-15T06:18:13Z)
• Combining Vision and Tactile Sensation for Video Prediction [0.0]
  本研究では,触覚フィードバックを映像予測モデルに組み込んだ物理的ロボットインタラクションの効果について検討する。 磁気ベースの触覚センサを用いて教師なし学習を行うロボットプッシュの2つの新しいデータセットを紹介した。 以上の結果から,触覚フィードバックを映像予測モデルに組み込むことにより,シーン予測精度が向上し,エージェントの身体的相互作用に対する認識が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-21T18:02:15Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。