論文の概要: TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning

• arxiv url: http://arxiv.org/abs/2610.10288v2
• Date: Thu, 08 Oct 2026 17:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.549623
• Title: TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning
• Title（参考訳）: TouchScale: 視覚と触覚の学習に500時間かかる
• Abstract要約: 我々は、単一の統一ウェアラブルセットアップで記録されたコンタクトリッチなヒューマンインタラクションのデータセットであるTouchScaleを紹介した。 TouchScaleのトレーニングでは、目に見えない触覚センサからのデータから、ゼロショットコンタクトIoUが0.134から0.383に上昇する。 TouchScaleは、4つのコンタクトリッチな操作タスクの平均的な実世界の成功率を22.5%から57.5%に改善している。
• 参考スコア（独自算出の注目度）: 103.68709128626244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale egocentric human interaction data is becoming an important source of physical supervision for embodied learning, yet video alone leaves the contact and pressure that characterize physical interaction unrecorded. Recent visual-tactile datasets provide this missing supervision, but their synchronized tactile data remain far smaller in volume than human video. Moreover, the largest resources often merge recordings from different sensors or annotation procedures, which makes the effect of data scale difficult to isolate. We therefore introduce TouchScale, a 500-hour dataset of contact-rich human interaction recorded with a single unified wearable setup. Its approximately 2K predefined task descriptions span everyday activities and structured manipulation, and each recording temporally aligns egocentric RGB-D video with wrist RGB video and dense full-hand bimanual tactile measurements. Compared with prior tactile data, training on the full TouchScale raises zero-shot contact IoU on data from an unseen tactile sensor from 0.134 to 0.383. Pretraining a visual encoder on TouchScale also yields the highest action recognition accuracy on three benchmarks among the compared visual-tactile datasets. Used for visual-tactile mid-training of a robot policy, TouchScale improves the average real-world success rate across four contact-rich manipulation tasks from 22.5% to 57.5%. With the sensor and collection protocol held fixed, both zero-shot tactile prediction and robot success show an overall upward trend as more TouchScale data is used. These results suggest that human visual-tactile data collected at scale with consistent sensing benefits both perception and robot manipulation. We will publicly release TouchScale, including all synchronized visual-tactile recordings and reconstructed object models, to support future research on scalable visual-tactile learning.
• Abstract（参考訳）: 大規模なエゴセントリックな人間のインタラクションデータは、具体的学習にとって重要な物理的監督源になりつつあるが、ビデオだけでは、物理的相互作用を記録されていないと特徴づける接触と圧力を残している。 最近の視覚触覚データセットは、この監視を欠いているが、その同期された触覚データは、人間のビデオよりもはるかに小さい。 さらに、最大のリソースは、異なるセンサーやアノテーションの手順から記録をマージすることが多いため、データスケールの効果の分離が困難になる。 そのために、単一の統一ウェアラブルセットアップで記録されたコンタクトリッチなヒューマンインタラクションの500時間データセットであるTouchScaleを紹介します。 約2Kのタスク記述は日常的な活動と構造化された操作にまたがっており、それぞれの録音はエゴセントリックなRGB-Dビデオと手首のRGBビデオと密集したフルハンドの両手触覚測定とを時間的に一致させる。 従来の触覚データと比較すると、TouchScaleのトレーニングは、見えない触覚センサからのデータからゼロショットコンタクトIoUを0.134から0.383に引き上げる。 TouchScaleでビジュアルエンコーダを事前トレーニングすることで、3つのベンチマークで比較した視覚触覚データセットの中で、最も高いアクション認識精度が得られる。 ロボットポリシーの視覚触覚ミッドトレーニングに使用されるTouchScaleは、4つのコンタクトリッチな操作タスクにおける平均的な現実世界の成功率を22.5%から57.5%に改善する。 センサーと収集プロトコルが固定されたことにより、ゼロショットの触覚予測とロボットの成功の両方が、TouchScaleのデータを使用するにつれて、全体的な上昇傾向を示している。 これらの結果は、人間の視覚触覚データを大規模に収集し、知覚とロボット操作の両方に一貫した感覚的利益をもたらすことを示唆している。 われわれはTouchScaleを公開し、すべての同期された視覚触覚記録と再構成されたオブジェクトモデルを含む、スケーラブルな視覚触覚学習に関する将来の研究をサポートする。

関連論文リスト

• Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation [19.452443308926487]
  有害な操作には触覚フィードバックが必要である。 人間のデモは、多様な触覚インタラクションのよりスケーラブルなソースを提供する。 我々は、人間の触覚データを活用して、巧妙な操作ポリシーを改善します。
  論文  参考訳（メタデータ） (2026-09-28T02:59:16Z)
• DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation [62.08802141030416]
  本稿では,指先を個別に符号化するビジュオ触覚WAMであるDexTacWAMを紹介する。 触覚潜伏剤をビデオ拡散世界モデルに注入し, 共同ビジュオ触覚世界モデリングを行う。
  論文  参考訳（メタデータ） (2026-09-21T17:55:24Z)
• TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation [7.514180931864231]
  我々は,高密度全手接触力予測のための単眼自我中心型視覚フレームワークであるTouchSightを提案する。 TwinTouch-20H: 20時間ペアの視覚データを構築し, 生成的ビデオモデルが手作業で記録した記録を手作業で再現する。 TouchSightは、光沢のあるビデオと生成された裸手ビデオの両方から高密度な力を予測し、OakInk2の以前の接触予測方法より優れています。
  論文  参考訳（メタデータ） (2026-09-17T13:58:43Z)
• TouchAnything: A Dataset and Framework for Bimanual Tactile Estimation from Egocentric Video [20.373348802426143]
  EgoTouchは大規模なエゴセントリックなデータセットで、手動オブジェクトのインタラクションを厳密な触覚で監視する。 TouchAnythingは、自我中心のビューを主入力として使用する、視覚と触覚の予測フレームワークである。 データセット、コード、ベンチマークを公開します。
  論文  参考訳（メタデータ） (2026-05-13T06:54:36Z)
• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
  我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。 人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。 私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
  論文  参考訳（メタデータ） (2022-11-22T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。