論文の概要: FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning
- arxiv url: http://arxiv.org/abs/2607.24267v1
- Date: Mon, 27 Jul 2026 11:00:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.389616
- Title: FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning
- Title（参考訳）: FeelWorld:階層的接触予測と計画のためのVisuo-Tactile World Model
- Abstract要約: 本稿では,未来の視覚的潜伏状態と3つの触覚状態を予測する視覚触覚世界モデルFeelWorldを紹介する。
FeelWorldはこれらの状態を階層的に接触状態、すなわち力に関連する情報をエンコードする3D触覚潜伏剤として構成する。
自由空間運動中の無関係な触覚信号が視覚的予測を劣化させるのを防ぐために,接触ゲート型非対称アテンション機構を導入する。
- 参考スコア（独自算出の注目度）: 17.259290794993895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans plan physical interactions by imagining the possible outcomes of candidate actions. However, existing visual world models primarily capture appearance dynamics while overlooking the tactile states that govern contact-rich interactions, potentially producing imagined futures that appear visually plausible but violate physical dynamics. We introduce FeelWorld, a hierarchical visuo-tactile world model that jointly predicts future visual latents and three tactile states. FeelWorld organizes these states hierarchically as contact state, a 3D tactile latent that encodes force-related information, and slip state. These states are jointly predicted by a shared latent dynamics model with explicit supervision. To prevent irrelevant tactile signals during free-space motion from degrading visual prediction, we introduce a contact-gated asymmetric attention mechanism that maintains a visual-only prediction pathway before contact and enables joint visuo-tactile dynamics prediction during contact. The model is further trained with autoregressive rollouts and context noise injection to improve robustness to compounding errors. The predicted contact and slip states also support contact-aware CEM planning. Experiments on chip grasping, fruit grasping, and USB insertion show that FeelWorld reduces 10-step LPIPS from 0.084 to 0.058 and maintains an LPIPS that is 61% lower than that of the visual baseline after an 80-step autoregressive rollout. FeelWorld also achieves an average zero-shot planning success rate of 81.7%, providing an effective approach for incorporating tactile sensing into world models.
- Abstract（参考訳）: 人間は、候補となる行動の結果を想像して物理的相互作用を計画する。
しかし、既存の視覚世界モデルは、主に外見のダイナミクスを捉え、接触に富んだ相互作用を管理する触覚状態を見下ろし、視覚的に可塑性に見えるが物理的ダイナミクスに反する想像上の未来を生み出す可能性がある。
本稿では,未来の視覚的潜伏状態と3つの触覚状態を共同で予測する階層型ビジュオ触覚世界モデルFeelWorldを紹介する。
FeelWorldはこれらの状態を階層的に接触状態、すなわち力に関連する情報をエンコードする3D触覚潜伏剤として構成する。
これらの状態は、明示的な監督を伴う共有潜在力学モデルによって共同で予測される。
自由空間運動中の無関係な触覚信号が視覚的予測を劣化させるのを防止するため,接触前に視覚のみの予測経路を維持し,接触時の関節ビジュオ触覚動的予測を可能にする接触ゲート非対称アテンション機構を導入する。
このモデルは、自動回帰ロールアウトとコンテキストノイズインジェクションでさらに訓練され、複雑なエラーに対する堅牢性を改善する。
予測された接触およびすべり状態は、接触対応のCEM計画もサポートする。
FeelWorldは10ステップLPIPSを0.084から0.058に削減し、80ステップ自動回帰ロールアウト後の視覚ベースラインよりも61%低いLPIPSを維持している。
FeelWorldは平均ゼロショットの計画成功率81.7%を達成し、触覚を世界モデルに組み込む効果的なアプローチを提供する。
関連論文リスト
- HiTac-WAM: A Hierarchical Tactile World Action Model for Contact-Rich Robot Manipulation [16.161933557281447]
HiTac-WAMは階層的な触覚世界行動モデルであり、実行前に各アクションチャンクの将来の触覚状態を予測します。
計画では、HiTac-WAMは触覚予測とタスクプログレス推定を用いて、候補アクションチャンクをランク付けする。
実行には、選択された触覚予測を基準として保持する。
論文 参考訳（メタデータ） (2026-08-20T02:28:25Z) - AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion [60.79507611737292]
人間は視覚知覚と触覚フィードバックをシームレスに統合することで、安定的で適応的な把握を実現する。
既存のロボットグルーピングアプローチは、視覚入力と接触後の触覚誘導適応機構の欠如に依存している。
本稿では, 把握生成, 実現可能性予測, 適応的改善を統合した統合型ビジュオタクティル・フュージョン・グリーティング・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-06T16:29:11Z) - TacWAM: Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction [15.274487606802124]
World Action Models (WAM) は将来の状態予測とロボットアクション生成を組み合わせるが、既存のアプローチは視覚的未来に大きく依存している。
本稿では、この課題に3つのステップで対処する、メカニック対応の触覚WAMであるTacWAMを紹介する。
筆者らは, 脆弱な把握, 表面接触, 動的手動操作を含む4つの実世界の接触リッチな操作タスクに対して, TacWAMを評価した。
論文 参考訳（メタデータ） (2026-07-30T15:47:01Z) - TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation [14.063238637690597]
日常環境における有害な操作には、予測と反応の両方が必要である。
我々は,デクスタラス操作のための予測・反応型触覚基礎モデルであるTouchWorldを紹介する。
論文 参考訳（メタデータ） (2026-07-08T11:28:13Z) - VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation [22.0330577788623]
コンタクトリッチな操作には、局所的な変形、圧力、滑り、摩擦に反応するポリシーが必要である。
既存の視覚触覚ポリシーは通常、触覚観察を直接行動予測に供給する。
本稿では,未来の視覚予測,触覚変形予測,行動予測を共同で学習する視覚触覚世界行動モデルであるVT-WAMを紹介する。
論文 参考訳（メタデータ） (2026-07-02T17:58:36Z) - UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models [32.87879913150572]
コンタクトリッチな操作のための統合された触覚学習フレームワークを提案する。
提案手法は,既存手法よりも成功率,操作精度,接触堅牢性を向上することを示す。
論文 参考訳（メタデータ） (2026-06-30T14:24:00Z) - Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention [53.84395207661823]
触覚非対称注意機構(TAAM)を備えたタッチ対応WAMであるTactile-WAMを提案する。
ManiFeelでは、Tactile-WAMは平均成功率を38.9%改善し、コンタクトリッチタスクでは86%改善した。
論文 参考訳（メタデータ） (2026-06-25T06:54:56Z) - Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。
表現の崩壊を防ぎ、アクション整列表現を誘導する。
コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
論文 参考訳（メタデータ） (2026-06-18T11:25:16Z) - VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs [47.982092015932444]
Video-Action Models (VAM) は、インテリジェンスを具現化するための有望なフレームワークとして登場した。
本稿では,触覚を接地信号として組み込んだマルチモーダル世界モデリングフレームワークであるVideo-Tactile Action Model (VTAM)を紹介する。
VTAMは、触覚ストリームでトレーニング済みのビデオトランスフォーマーを軽量なモダリティ転送ファインタニングで強化する。
論文 参考訳（メタデータ） (2026-03-24T17:45:06Z) - OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳（メタデータ） (2026-03-19T17:52:42Z) - Learning to Feel the Future: DreamTacVLA for Contact-Rich Manipulation [14.221542785249524]
本稿では,VLAモデルを接点物理学の基盤として,未来感を学習するフレームワークであるDreamTacVLAを紹介する。
我々のモデルは、高解像度の触覚画像がマイクロビジョン入力として機能する階層的認識方式を採用している。
より詳細な接触力学の理解を深めるために,将来的な触覚信号を予測する触覚世界モデルを用いてシステムを微調整する。
論文 参考訳（メタデータ） (2025-12-29T21:06:33Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。