論文の概要: DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.20649v2
• Date: Fri, 18 Sep 2026 07:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.724964
• Title: DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation
• Title（参考訳）: DexTouch-WM: Dexterous Robot Manipulationのためのヒューマンタッチによる行動記述型触覚世界モデル学習
• Abstract要約: DexTouch-WMは、スケーラブルな人間の触覚から学習し、将来のRGB観測と両眼触覚のダイナミクスを共同で予測するアクション条件付き世界モデルである。 人間の手と器用なロボット手の両方に、センサレイアウトを共有化して、柔軟なピエゾ抵抗配列を配置する。 人間とロボットのタスクセットが不一致であるにもかかわらず、保持されたロボット領域の視覚的、幾何学的、接触予測の大幅な改善が観察された。
• 参考スコア（独自算出の注目度）: 41.81471936916666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning predictive models of contact-rich dexterous manipulation requires dense tactile interaction, but such data are costly to scale on real robots and remain tied to embodiment-specific sensors. We introduce DexTouch-WM, an action-conditioned world model that learns from scalable human touch to jointly predict future RGB observations and bilateral tactile dynamics. Our insight is that human and robot manipulation share transferable contact dynamics when their tactile observations and action spaces are made compatible. We deploy flexible piezoresistive arrays with a shared sensing layout on both human and dexterous robot hands, and retarget human motion into the robot action space so that human interaction can supervise the same dynamics model used for real-robot prediction. DexTouch-WM couples a pretrained video expert with a lightweight tactile expert using anatomy-aware tactile tokens and aligned action conditioning. In human-to-robot scaling experiments, we keep five hours of real-robot supervision fixed while increasing human interaction from 0 to 100 hours, and observe substantial improvements in held-out robot-domain visual, geometric, and contact prediction despite disjoint human and robot task sets. Beyond prediction, we evaluate the world models as surrogate environments for policy evaluation and as generators of synthetic trajectories for real-robot policy learning, showing that scalable human interaction provides a complementary data axis for learning dexterous robot world models.
• Abstract（参考訳）: 接触に富んだ触覚操作の予測モデルを学ぶには、密接な触覚相互作用を必要とするが、そのようなデータは実際のロボットにスケールするのに費用がかかり、体感特異的なセンサーに縛られる。 DexTouch-WMは、スケーラブルな人間の触覚から学習し、将来のRGB観測と両眼触覚のダイナミクスを共同で予測するアクション条件付き世界モデルである。 我々の洞察では、人間とロボットの操作は、触覚観察とアクション空間が互換性があるときに、伝達可能な接触ダイナミクスを共有する。 ロボットの動作をロボットの動作空間に再ターゲティングすることで,人間のインタラクションがロボットの動作予測に使用されるのと同じダイナミクスモデルを監視できるようにする。 DexTouch-WMは、事前訓練されたビデオエキスパートと、解剖学的に認識された触覚トークンとアライメントされたアクションコンディショニングを使用して、軽量な触覚専門家を結合する。 人間とロボットのスケーリング実験では、人間とロボットの相互作用を0時間から100時間に増加させながら、実際のロボットの監督を5時間維持し、人間とロボットのタスクセットが不一致であるにもかかわらず、保持されたロボット領域の視覚的、幾何学的、接触予測の大幅な改善を観察する。 予測を超えて、我々は世界モデルを政策評価のための代理環境として評価し、実ロボットの政策学習のための合成軌道の生成体として評価し、スケーラブルな人間の相互作用が、異種ロボットの世界モデルを学習するための相補的なデータ軸を提供することを示す。

関連論文リスト

• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• UniTacHand: Unified Spatio-Tactile Representation for Human to Robotic Hand Skill Transfer [24.322055599503372]
  触覚に基づくロボットポリシー学習のための触覚手袋を用いた低コストな人体操作データ収集を提案する。 人間とロボットの触覚データのミスアライメントは、人間のデータから学んだポリシーをロボットに移すことを困難にしている。 We propose UniTacHand, a unified representation to align robotic tactile information captured by dexterous hands with human hand touch obtained from gloves。
  論文  参考訳（メタデータ） (2025-12-24T15:18:54Z)
• InteRACT: Transformer Models for Human Intent Prediction Conditioned on Robot Actions [7.574421886354134]
  InteRACTアーキテクチャは、大規模な人間と人間のデータセットと小さな人間とロボットのデータセットの微細構造に関する条件付き意図予測モデルを事前訓練する。 実世界の協調的なロボット操作タスクについて評価し、条件付きモデルが様々な限界ベースラインよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2023-11-21T19:15:17Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。