論文の概要: ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation

• arxiv url: http://arxiv.org/abs/2607.22530v1
• Date: Fri, 24 Jul 2026 17:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.200481
• Title: ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation
• Title（参考訳）: ViTacWorld:コンタクトリッチロボットマニピュレーションのためのVisuo-Tactile World Modelのスケーリング
• Abstract要約: ViTacWorldは、スケーラブルなコンタクトリッチロボット操作のためのアクションコンディション付きビズオ触覚世界モデルである。 これは触覚信号が物理的接触に直接接しており、純粋に視覚的な観察よりもシミュレーションと現実のギャップが小さいという事実を利用する。 ロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを用いた最初のフレームワークである。
• 参考スコア（独自算出の注目度）: 30.004466515831634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contact-rich robot manipulation requires physical interaction cues that are often invisible to cameras, making tactile sensing essential for robust control. However, scaling visuo-tactile robot learning remains difficult because real tactile interaction data are expensive to collect, hardware-dependent, and limited in task and scene diversity. We present ViTacWorld, an action-conditioned visuo-tactile world model for scalable contact-rich robot manipulation. ViTacWorld leverages public real tactile datasets and a constructed simulation environment to scale visuo-tactile-action data, exploiting the fact that tactile signals are directly grounded in physical contact and can exhibit a smaller simulation-to-real gap than purely visual observations. The model is first pretrained with large-scale real and simulated visuo-tactile trajectories, and then finetuned with real-world policy rollouts to better match downstream manipulation behaviors. Given robot actions, ViTacWorld predicts temporally aligned visual observations and tactile feedback, enabling visuo-tactile-action rollout generation. To the best of our knowledge, ViTacWorld is the first framework that uses a world model for robot visuo-tactile-action trajectory generation and policy evaluation. It serves two roles: synthesizing rollouts to improve downstream tactile policies, and evaluating policies by predicting action-conditioned visuo-tactile outcomes under controlled action sequences. Experiments on contact-rich manipulation tasks show that ViTacWorld generates physically meaningful rollouts, improves policy performance through scalable data augmentation, and enables action-conditioned policy evaluation. Project page: https://vitacworld.github.io/
• Abstract（参考訳）: コンタクトに富んだロボット操作は、しばしばカメラに見えない物理的相互作用の手がかりを必要とするため、堅牢な制御には触覚が不可欠である。 しかし、実際の触覚インタラクションデータは、収集やハードウェアに依存し、タスクやシーンの多様性に制限があるため、拡張性のあるロボット学習は依然として困難である。 我々は、スケーラブルなコンタクトリッチロボット操作のための行動条件付き視覚触覚世界モデルViTacWorldを提案する。 ViTacWorldは、パブリックな実際の触覚データセットと構築されたシミュレーション環境を活用して、粘性触覚アクションデータをスケールし、触覚信号が物理的接触に直接接地されているという事実を活用し、純粋に視覚的な観察よりもシミュレーションと現実のギャップを小さくすることができる。 このモデルは、まず大規模な実・シミュレートされたビジュオ触覚軌道で事前訓練され、その後、下流の操作行動に合うように現実世界のポリシーロールアウトで微調整される。 ViTacWorldは、ロボットアクションを前提として、時間的に整列した視覚観察と触覚フィードバックを予測し、ビジュオ触覚アクションのロールアウト生成を可能にする。 我々の知る限りでは、ViTacWorldはロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを使用する最初のフレームワークである。 下流の触覚ポリシーを改善するためにロールアウトを合成し、制御されたアクションシーケンスの下でアクション条件付きビジュオ触覚結果を予測することでポリシーを評価する。 コンタクトリッチな操作タスクの実験は、ViTacWorldが物理的に意味のあるロールアウトを生成し、スケーラブルなデータ拡張によるポリシー性能を改善し、アクション条件付きポリシー評価を可能にすることを示す。 プロジェクトページ: https://vitacworld.github.io/

関連論文リスト

• $N_0$-TWAM: Scaling Tactile-Native World-Action Model for Contact-Rich Manipulation [0.0]
  我々は,将来の視覚と将来の接触の両方を予測する,接触リッチな操作のための触覚的世界行動モデルを提案する。 我々の知る限り、これは大規模に訓練された最初の触覚世界行動モデルであり、コンタクトリッチなタスクに強い能力を示す。 我々は、力に基づく統合された触覚表現であるNeoForceを使用して、アクション生成を条件とした物理的接点信号を形成する。
  論文  参考訳（メタデータ） (2026-07-26T17:58:53Z)
• Masked Visual Actions for Unified World Modeling [96.12988421978463]
  Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。 Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
  論文  参考訳（メタデータ） (2026-07-21T17:59:11Z)
• TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation [46.82050380051203]
  接触に富んだ操作では、ロボットは物理的な動的接触遷移や複雑な表面ジオメトリを継続的に制御し、制御する必要がある。 近年の模倣学習手法は触覚や力のフィードバックを取り入れて接触認識制御を改善するが、大域的な力や局所的な触覚の非対称的な役割をモデル化することは滅多にない。 リアルタイム操作のための軽量な力量予測フレームワークであるTacForeSightを提案する。
  論文  参考訳（メタデータ） (2026-06-09T17:59:03Z)
• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
  ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。 本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。 スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
  論文  参考訳（メタデータ） (2026-02-14T16:05:08Z)
• DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos [110.98100817695307]
  私たちはDreamDojoを紹介します。DreamDojoは、多種多様なインタラクションと、エゴセントリックな人間ビデオの44万時間から厳密なコントロールを学ぶ基礎的な世界モデルです。 本研究は, 遠隔操作, 政策評価, モデルベース計画など, 生成的世界モデルに基づくいくつかの重要な応用を可能にする。
  論文  参考訳（メタデータ） (2026-02-06T18:49:43Z)
• MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
  MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。 MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
  論文  参考訳（メタデータ） (2026-02-05T02:49:52Z)
• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
  本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。 提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。 我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
  論文  参考訳（メタデータ） (2024-07-01T16:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。