論文の概要: EgoTac: In-the-wild Tactile Prediction from Egocentric Vision
- arxiv url: http://arxiv.org/abs/2608.15060v1
- Date: Sat, 15 Aug 2026 06:18:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.176907
- Title: EgoTac: In-the-wild Tactile Prediction from Egocentric Vision
- Title（参考訳）: EgoTac:Egocentric VisionによるWildの触覚予測
- Abstract要約: 我々は,エゴセントリックな人間ビデオから直接,リッチな触覚情報を予測するモデルであるEgoTacを紹介した。
EgoTacは5.7M以上の画像触覚対の統一コーパスで訓練されている。
常に最先端の接触推定器を上回っている。
- 参考スコア（独自算出の注目度）: 33.40360812855072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Touch is fundamental to dexterous manipulation, yet most egocentric human data increasingly used for robot learning lacks tactile information. Directly collecting large-scale tactile data is challenging due to sensor limitations, while human video data is abundant, contact-rich, and easily scalable. This motivates a natural question: can tactile signals be inferred purely from vision? To address this, we introduce EgoTac, a generalizable model that predicts rich tactile information directly from egocentric human videos. EgoTac is trained on a unified corpus of over 5.7M image-tactile pairs, covering both continuous force measurements and binary contacts. By learning from this diverse dataset, EgoTac captures nuanced touch dynamics across varied interactions. Experiments demonstrate strong performance: in-domain prediction achieves an average force error below 0.06N. On out-of-domain contact prediction benchmarks, EgoTac consistently outperforms the state-of-the-art contact estimator. It also captures the rise and fall patterns of real tactile data and enables zero-shot predictions on unconstrained real-world videos. Scaling analyses further reveal that both data diversity and volume improve performance steadily. Overall, EgoTac provides a scalable pathway to extract tactile priors from egocentric human videos, enabling broadly applicable tactile-aware robot learning.
- Abstract（参考訳）: タッチは巧妙な操作には基本的だが、ロボット学習にますます使われているエゴセントリックな人間のデータには、触覚情報がない。
センサーの制限により、大規模な触覚データを直接収集することは困難である。
触覚信号は視覚から純粋に推測できるのか?
そこで本研究では,エゴセントリックな人間ビデオから直接,リッチな触覚情報を予測する汎用モデルであるEgoTacを紹介する。
EgoTacは5.7M以上の画像触覚対の統一コーパスで訓練されており、連続的な力測定とバイナリ接触の両方をカバーしている。
この多様なデータセットから学習することで、EgoTacはさまざまなインタラクションにわたる微妙なタッチダイナミクスをキャプチャする。
実験は強い性能を示し、ドメイン内予測は0.06N以下の平均力誤差を達成する。
ドメイン外のコンタクト予測ベンチマークでは、EgoTacは最先端のコンタクト推定器よりも一貫して優れています。
また、実際の触覚データのアップ・アンド・フォールパターンをキャプチャし、制約のない現実世界のビデオのゼロショット予測を可能にする。
スケーリング分析により、データの多様性とボリュームの両方がパフォーマンスを着実に改善することが明らかになった。
全体として、EgoTacは、エゴ中心の人間ビデオから触覚前駆体を抽出するスケーラブルな経路を提供し、広く適用可能な触覚ロボット学習を可能にする。
関連論文リスト
- HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining [93.5192770515694]
Embodied foundation modelは、大きな言語モデルのようなデータスケーリングの恩恵を受けることが期待されているが、より厳密なデータボトルネックに直面している。
遠隔操作された実ロボット軌道は、正確な行動監督と実施の整合性のために、訓練前の主流の源である。
エゴセントリックなデータに基づいて事前訓練された基礎モデルは、実ロボットアクション予測において24%低い検証損失を達成する。
論文 参考訳（メタデータ） (2026-06-18T17:37:34Z) - Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。
人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
論文 参考訳（メタデータ） (2026-06-15T20:00:20Z) - EgoTactile: Learning Grasp Pressure for Everyday Objects from Egocentric Video [82.13376072770363]
没入型VRとロボット操作には、エゴセントリックビデオからのフルハンドグリッププレッシャーの推定が不可欠だ。
EgoTactileは、さまざまな日常オブジェクトに対するフルハンドプレッシャー監視を備えた、エゴセントリックなビデオのベンチマークである。
EgoPressureDiffは、大規模に訓練されたビデオ拡散バックボーンに適応する条件付き拡散フレームワークである。
論文 参考訳（メタデータ） (2026-06-08T09:20:03Z) - TouchAnything: A Dataset and Framework for Bimanual Tactile Estimation from Egocentric Video [20.373348802426143]
EgoTouchは大規模なエゴセントリックなデータセットで、手動オブジェクトのインタラクションを厳密な触覚で監視する。
TouchAnythingは、自我中心のビューを主入力として使用する、視覚と触覚の予測フレームワークである。
データセット、コード、ベンチマークを公開します。
論文 参考訳（メタデータ） (2026-05-13T06:54:36Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration [26.351720551267846]
触覚と審美的知覚は、人間の器用な操作に欠かせないものであり、感覚運動器統合による物体の確実な把握を可能にしている。
本研究では,人間の直感的・自然な操作から模倣学習に基づくロボット実行へのスキル伝達を把握するための,新しい手袋による触覚的知覚予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-10T07:44:12Z) - EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video [7.1221123957033905]
EgoDexは、これまでで最大かつ最も多様な人体操作のデータセットである。
ビデオの撮影時間は829時間で、3Dの手と指の追跡データをペアリングして記録する。
このデータセットは、194種類のテーブルトップタスクにおいて、日常的な家庭内オブジェクトとの多様な操作行動をカバーする。
論文 参考訳（メタデータ） (2025-05-16T21:34:47Z) - Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。
ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。
これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文 参考訳（メタデータ） (2024-11-04T18:38:50Z) - EgoMimic: Scaling Imitation Learning via Egocentric Video [22.902881956495765]
EgoMimicは、人間の体表データを介して操作をスケールするフルスタックフレームワークである。
EgoMimic は,1) エルゴノミクス・プロジェクト・Aria メガネを用いたヒトの体型データをキャプチャするシステム,2) 人体データとの運動的ギャップを最小限に抑える低コストなバイマティックマニピュレータ,(4) 人体データとロボットデータとのコトレーニングを行う模倣学習アーキテクチャ,の2つによって実現している。
論文 参考訳（メタデータ） (2024-10-31T17:59:55Z) - Combining Vision and Tactile Sensation for Video Prediction [0.0]
本研究では,触覚フィードバックを映像予測モデルに組み込んだ物理的ロボットインタラクションの効果について検討する。
磁気ベースの触覚センサを用いて教師なし学習を行うロボットプッシュの2つの新しいデータセットを紹介した。
以上の結果から,触覚フィードバックを映像予測モデルに組み込むことにより,シーン予測精度が向上し,エージェントの身体的相互作用に対する認識が向上することが示唆された。
論文 参考訳（メタデータ） (2023-04-21T18:02:15Z) - Ego-Exo: Transferring Visual Representations from Third-person to
First-person Videos [92.38049744463149]
大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。
私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。
実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
論文 参考訳（メタデータ） (2021-04-16T06:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。