論文の概要: ACTS: Learning Visuo-Tactile World Models from Human Physical Interaction

• arxiv url: http://arxiv.org/abs/2610.24285v1
• Date: Fri, 16 Oct 2026 22:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:39:38.305226
• Title: ACTS: Learning Visuo-Tactile World Models from Human Physical Interaction
• Title（参考訳）: ACTS:人間の身体的相互作用から視覚・触覚世界モデルを学ぶ
• Abstract要約: 本稿では,人間のインタラクションデータのみに基づいてトレーニングされた視覚触覚世界モデルACTSを提案する。 保持された人間のデータに基づいて、ACTSは、React上でスクラッチからトレーニングされた2つのヴィジュオ触覚世界モデルよりも、シーンビューの予測を0.7-2.0dBPSNR改善する。
• 参考スコア（独自算出の注目度）: 13.484107468461987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstract Action-conditioned world models for contact-rich manipulation require data that captures how contact forms, slides, and releases under varying force. Such data are slow to collect through robot teleoperation, which often lacks force feedback and is constrained by gripper geometry. We ask whether these dynamics can instead be learned from human physical interaction and transferred to a robot. We present ACTS, a visuo-tactile world model trained only on human interaction data. Operators manipulate handheld GelSight sensors while we record third-person and wrist video, tactile images, 6-DoF sensor motion, and tactile-derived normal force, yielding React, a 4.9-hour bimanual dataset across three objects. We represent actions at the tactile sensor as motion augmented by force change, providing a shared action space for human collection and robot execution. ACTS jointly predicts future scene, wrist, and tactile observations. On held-out human data, ACTS improves scene-view prediction by 0.7-2.0 dB PSNR over the stronger of two visuo-tactile world models trained from scratch on React. Without fine-tuning, in the robot teleoperation rollouts we inspected, predicted tactile imprints still appear and disappear with recorded contact. Visual transfer is less robust: camera predictions exceed frame copying on PushT, are mixed on Rope, and fall below it on Motherboard, while wrist views can blur or hallucinate structure. These results suggest that contact dynamics transfer more reliably than visual appearance from human to robot.
• Abstract（参考訳）: コンタクトリッチな操作のための抽象アクション条件付き世界モデルは、接触形態、スライド、そして様々な力でリリースする方法をキャプチャするデータを必要とする。 このようなデータはロボットの遠隔操作によって収集されるのが遅いため、しばしば力のフィードバックが無く、グリップ幾何学によって拘束される。 これらのダイナミクスを人間の身体的相互作用から学習し、ロボットに転送できるかどうかを問う。 本稿では,人間のインタラクションデータのみに基づいてトレーニングされた視覚触覚世界モデルACTSを提案する。 オペレーターはハンドヘルドのGelSightセンサーを操作し、3人称と手首のビデオ、触覚画像、6-DoFセンサーの動き、触覚からの正常な力を記録し、3つのオブジェクトにわたる4.9時間のバイマニュアルデータセットであるReactを生成する。 我々は触覚センサにおける動作を,力による運動増強として表現し,人間の収集とロボット実行のための共有行動空間を提供する。 ACTSは将来のシーン、手首、触覚の観測を共同で予測する。 保持された人間のデータに基づいて、ACTSは、React上でスクラッチからトレーニングされた2つのヴィジュオ触覚世界モデルよりも、シーンビューの予測を0.7-2.0dBPSNR改善する。 微調整なしでは、私たちが検査したロボット遠隔操作ロールアウトでは、触覚インプリントが記録された接触で現れて消えていくと予測された。 カメラの予測はPushTのフレームコピーを超え、Ropeで混合され、Motherboardで下降する。 これらの結果は,人間からロボットへの視覚的外観よりも接触ダイナミクスが確実に伝達されることを示唆している。

関連論文リスト

• FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity [59.92965577251167]
  本稿では,ロボット基礎モデルであるFACTについて述べる。 ツールの使用,楽器,精密実験室の手順を含む,きめ細かい調整と力フィードバックを必要とする10のタスクでモデルを評価した。
  論文  参考訳（メタデータ） (2026-10-13T20:21:52Z)
• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning [103.68709128626244]
  我々は、単一の統一ウェアラブルセットアップで記録されたコンタクトリッチなヒューマンインタラクションのデータセットであるTouchScaleを紹介した。 TouchScaleのトレーニングでは、目に見えない触覚センサからのデータから、ゼロショットコンタクトIoUが0.134から0.383に上昇する。 TouchScaleは、4つのコンタクトリッチな操作タスクの平均的な実世界の成功率を22.5%から57.5%に改善している。
  論文  参考訳（メタデータ） (2026-10-07T15:49:41Z)
• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation [19.452443308926487]
  有害な操作には触覚フィードバックが必要である。 人間のデモは、多様な触覚インタラクションのよりスケーラブルなソースを提供する。 我々は、人間の触覚データを活用して、巧妙な操作ポリシーを改善します。
  論文  参考訳（メタデータ） (2026-09-28T02:59:16Z)
• DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation [41.81471936916666]
  DexTouch-WMは、スケーラブルな人間の触覚から学習し、将来のRGB観測と両眼触覚のダイナミクスを共同で予測するアクション条件付き世界モデルである。 人間の手と器用なロボット手の両方に、センサレイアウトを共有化して、柔軟なピエゾ抵抗配列を配置する。 人間とロボットのタスクセットが不一致であるにもかかわらず、保持されたロボット領域の視覚的、幾何学的、接触予測の大幅な改善が観察された。
  論文  参考訳（メタデータ） (2026-09-17T16:28:34Z)
• Feel the Force: Contact-Driven Learning from Humans [52.36160086934298]
  操作中のきめ細かい力の制御は、ロボット工学における中核的な課題である。 We present FeelTheForce, a robot learning system that model human tactile behavior to learn force-sensitive control。 提案手法は,5つの力覚的操作タスクで77%の成功率を達成した,スケーラブルな人間の監督において,堅牢な低レベル力制御を実現する。
  論文  参考訳（メタデータ） (2025-06-02T17:57:52Z)
• Combining Vision and Tactile Sensation for Video Prediction [0.0]
  本研究では,触覚フィードバックを映像予測モデルに組み込んだ物理的ロボットインタラクションの効果について検討する。 磁気ベースの触覚センサを用いて教師なし学習を行うロボットプッシュの2つの新しいデータセットを紹介した。 以上の結果から,触覚フィードバックを映像予測モデルに組み込むことにより,シーン予測精度が向上し,エージェントの身体的相互作用に対する認識が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-21T18:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。