論文の概要: TouchTwin: Scaling Human Touch Data via Real-to-Sim-to-Real
- arxiv url: http://arxiv.org/abs/2611.17619v1
- Date: Fri, 13 Nov 2026 00:42:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.281587
- Title: TouchTwin: Scaling Human Touch Data via Real-to-Sim-to-Real
- Title(参考訳): TouchTwin: リアル・トゥ・サイズ・トゥ・リールによる人間のタッチデータのスケーリング
- Abstract要約: 人間のデモは、繊細な操作のためのデータの主要なソースになりつつある。
これらのパイプラインは視覚から相互作用を再構築し、手の動きを回復する。
TouchTwinは人間のタッチでギャップを埋める。
- 参考スコア(独自算出の注目度): 29.58547331121441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human demonstrations are becoming the main source of data for dexterous manipulation, and real-to-sim-to-real pipelines multiply each demonstration in simulation. These pipelines rebuild the interaction from vision, which recovers how the hand moves. Which fingers touch, when, and how hard remain unobserved, because a hand pose shows where each finger stops on the surface rather than how far it is driven to close. This gap is a force gap: on held-out recordings, a hand policy that imitates the observed pose grips with 0.31x the recorded force, and a policy trained on physics replays of vision-tracked poses grips with 1.55x. TouchTwin closes the gap with measured human touch. Each selected TouchScale recording, captured with head and wrist RGB-D cameras and an 880-taxel glove, is rebuilt in MuJoCo. Coding agents write the objects as physics-tested programs, and a per-subject tactile hand replays the interaction with the recorded touch setting the contact and the closing force of each finger. In simulation, a policy trained on touch-grounded replays grips at 0.99x the recorded force and succeeds in 20/20 trials on held-out recordings and 35/36 unseen perturbations; a contact predictor trained on them misses 13% of real contact frames, against 32% for vision-based replays. Each replay also seeds perturbed demonstrations with simulated contact and force labels, rendered as realistic video in new views and scenes.
- Abstract(参考訳): 人間のデモは、デクスタラスな操作のためのデータの主要なソースになりつつあり、リアルからシミュレート・トゥ・リアルのパイプラインはシミュレーションで各デモに乗じている。
これらのパイプラインは視覚から相互作用を再構築し、手の動きを回復する。
指がどの指に触れるか、いつ、どのくらい硬く保たれているかは、手ポーズによって、どの指が閉じられるかではなく、表面でどの指が止まるかがわかるためです。
このギャップは力のギャップであり、ホールドアウト記録では、観測されたポーズグリップを0.31倍の力で模倣するハンドポリシーと、視覚追跡されたポーズグリップの物理リプレイを1.55倍で訓練するポリシーである。
TouchTwinは人間のタッチでギャップを埋める。
頭部と手首にRGB-Dカメラと880タキセルグローブを装着したTouchScaleの録音は、MuJoCoで再現されている。
コーディングエージェントは、物体を物理テストプログラムとして記述し、オブジェクトごとの触覚ハンドは、各指の接触と閉じ力を設定する記録されたタッチとの相互作用を再生する。
シミュレーションでは、タッチグラウンドのリプレイで訓練されたポリシーは、記録された力の0.99倍でグリップを握り、ホールドアウト記録と35/36の摂動の20/20の試験に成功し、実際のコンタクトフレームの13%を見逃し、視覚ベースのリプレイでは32%を達成している。
それぞれのリプレイは、新しいビューやシーンでリアルなビデオとしてレンダリングされた、シミュレートされたコンタクトとフォースのラベルで、種を誘惑するデモも行った。
関連論文リスト
- TactoHand: Learning Geometry-Based Dense Hand-Surface Interaction Fields from Video [25.498887239829475]
モノクロビデオから3つの高密度手表面相互作用場を予測するモデルであるTactoHandを紹介する。
我々は、適格なトレーニングデータから、幾何学に基づく接触・近接ラベルと運動由来の力ラベルを導出する。
その結果,触覚測定を行なわずに手地相互作用場を学習するための,スケーラブルで低コストな経路が示された。
論文 参考訳(メタデータ) (2026-10-29T08:25:15Z) - ACTS: Learning Visuo-Tactile World Models from Human Physical Interaction [13.484107468461987]
本稿では,人間のインタラクションデータのみに基づいてトレーニングされた視覚触覚世界モデルACTSを提案する。
保持された人間のデータに基づいて、ACTSは、React上でスクラッチからトレーニングされた2つのヴィジュオ触覚世界モデルよりも、シーンビューの予測を0.7-2.0dBPSNR改善する。
論文 参考訳(メタデータ) (2026-10-16T22:33:18Z) - TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning [103.68709128626244]
我々は、単一の統一ウェアラブルセットアップで記録されたコンタクトリッチなヒューマンインタラクションのデータセットであるTouchScaleを紹介した。
TouchScaleのトレーニングでは、目に見えない触覚センサからのデータから、ゼロショットコンタクトIoUが0.134から0.383に上昇する。
TouchScaleは、4つのコンタクトリッチな操作タスクの平均的な実世界の成功率を22.5%から57.5%に改善している。
論文 参考訳(メタデータ) (2026-10-07T15:49:41Z) - TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation [7.514180931864231]
我々は,高密度全手接触力予測のための単眼自我中心型視覚フレームワークであるTouchSightを提案する。
TwinTouch-20H: 20時間ペアの視覚データを構築し, 生成的ビデオモデルが手作業で記録した記録を手作業で再現する。
TouchSightは、光沢のあるビデオと生成された裸手ビデオの両方から高密度な力を予測し、OakInk2の以前の接触予測方法より優れています。
論文 参考訳(メタデータ) (2026-09-17T13:58:43Z) - Bench2Dex: Benchmarking Visuo-Tactile Bimanual Dexterous Manipulation Across Dexterous Hands [99.00248904465089]
指の構造、接触面、センサーレイアウトが異なる。
本報告では,12手にわたるバイスオタクティルバイマニュアル操作のシミュレーションベンチマークであるBench2Dexについて述べる。
論文 参考訳(メタデータ) (2026-09-14T15:22:59Z) - Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning [6.509572742369941]
触覚のみのブラインドグリップのためのフレームワークを提案する。
本研究では,実際の触覚信号を再現可能な接触校正型デジタル双極子シミュレータを構築するReal2Sim触覚校正パイプラインを提案する。
第2に,センサ・ジオメトリを組み込んだレイアウト認識型触覚エンコーダによる触覚観察の表現性を,自己教師付き事前学習により改善する。
第3に、未確認物体への一般化を改善するため、校正されたシミュレーターにおいて、オブジェクト固有の強化学習の専門家を訓練し、得られた把握軌道を触覚条件付き拡散ポリシーに集約する。
論文 参考訳(メタデータ) (2026-06-10T07:46:38Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳(メタデータ) (2025-12-18T18:18:17Z) - Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。
グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。
i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文 参考訳(メタデータ) (2023-01-14T05:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。